Тестовая платформа Agent4Sci (arXiv:2610.28763v1) оценивает продвинутых кодирующих агентов на 20 бенчмарках ML для науки
Статья представляет Agent4Sci — тестовую платформу длительного горизонта для оценки того, насколько современные кодирующие агенты способны улучшать опубликованные лучшие модели по 20 бенчмаркам ML в 11 областях. Автор(ы) показывают, что продвинутые агенты (например, Claude Opus) улучшают базовые результаты (Claude Opus: 10,4% среднее относительное улучшение), причём улучшения в основном связаны с инженерными приёмами; лёгкие плагины для генерации идей и управления экспериментами повышают показатели Claude Opus до 20,1% и Codex до 8,1%. Код и данные опубликованы на GitHub и Hugging Face.