ИССЛЕДОВАНИЕ · RESEARCH · #2051
Бенчмарк TheoPhysEval: GPT-6-Astra решил 49 из 50 задач по теоретической физике
Тридцать пять исследователей выпустили TheoPhysEval — бенчмарк из 50 неопубликованных задач по теоретической физике с проверяемыми ответами. GPT-6-Astra (в среде OpenAI Codex) дал верные ответы на 49 из 50 задач (98%) при среднем расходе ниже $3 на задачу; Opus 5.5 набрал 92%, Gemini 3.8 Flash — 68%, открытые модели — меньше. Тесты проводились с доступом в интернет и без него, и авторы отмечают, что модели часто хорошо справлялись без поиска, что указывает на сильную «запомненность» литературы; набор данных и тест опубликованы на Hugging Face.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Тридцать пять исследователей выпустили TheoPhysEval — бенчмарк из 50 неопубликованных задач по теоретической физике с проверяемыми ответами.
- GPT-6-Astra (в среде OpenAI Codex) дал верные ответы на 49 из 50 задач (98%) при среднем расходе ниже $3 на задачу; Opus 5.5 набрал 92%, Gemini 3.8 Flash — 68%, открытые модели — меньше.
- Тесты проводились с доступом в интернет и без него, и авторы отмечают, что модели часто хорошо справлялись без поиска, что указывает на сильную «запомненность» литературы; набор данных и тест опубликованы на Hugging Face.
ПОЧЕМУ ЭТО ВАЖНО
Это показывает, что передовые языковые модели уже могут превосходить многих человеческих специалистов в конкретных проверяемых вычислениях, сдвигая границы автоматизации исследовательских задач.