ИССЛЕДОВАНИЕ · RESEARCH · #2483
Тестовая платформа Agent4Sci (arXiv:2610.28763v1) оценивает продвинутых кодирующих агентов на 20 бенчмарках ML для науки
Статья представляет Agent4Sci — тестовую платформу длительного горизонта для оценки того, насколько современные кодирующие агенты способны улучшать опубликованные лучшие модели по 20 бенчмаркам ML в 11 областях. Автор(ы) показывают, что продвинутые агенты (например, Claude Opus) улучшают базовые результаты (Claude Opus: 10,4% среднее относительное улучшение), причём улучшения в основном связаны с инженерными приёмами; лёгкие плагины для генерации идей и управления экспериментами повышают показатели Claude Opus до 20,1% и Codex до 8,1%. Код и данные опубликованы на GitHub и Hugging Face.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья представляет Agent4Sci — тестовую платформу длительного горизонта для оценки того, насколько современные кодирующие агенты способны улучшать опубликованные лучшие модели по 20 бенчмаркам ML в 11 областях.
- Автор(ы) показывают, что продвинутые агенты (например, Claude Opus) улучшают базовые результаты (Claude Opus: 10,4% среднее относительное улучшение), причём улучшения в основном связаны с инженерными приёмами; лёгкие плагины для генерации идей и управления экспериментами повышают показатели Claude Opus до 20,1% и Codex до 8,1%.
- Код и данные опубликованы на GitHub и Hugging Face.
ПОЧЕМУ ЭТО ВАЖНО
Agent4Sci даёт воспроизводимый многодоменный бенчмарк и набор данных, которые показывают, где продвинутые агенты преуспевают или терпят неудачу в задачах научного ML и какие простые вмешательства помогают сдвинуть их от инженерных приёмов в сторону более релевантных научных решений.