Бенчмарк TheoPhysEval: GPT-6-Astra решил 49 из 50 задач по теоретической физике
Тридцать пять исследователей выпустили TheoPhysEval — бенчмарк из 50 неопубликованных задач по теоретической физике с проверяемыми ответами. GPT-6-Astra (в среде OpenAI Codex) дал верные ответы на 49 из 50 задач (98%) при среднем расходе ниже $3 на задачу; Opus 5.5 набрал 92%, Gemini 3.8 Flash — 68%, открытые модели — меньше. Тесты проводились с доступом в интернет и без него, и авторы отмечают, что модели часто хорошо справлялись без поиска, что указывает на сильную «запомненность» литературы; набор данных и тест опубликованы на Hugging Face.