ИССЛЕДОВАНИЕ · RESEARCH · #1764
OpenProblemBench: бенчмарк из 82 открытых задач математики и теоретической физики для ИИ
OpenProblemBench — новый бенчмарк (arXiv:2610.11118v1), содержащий 82 нерешённые задачи из математики и теоретической физики с контекстом, допущениями и описанием предшествующих результатов для работы над ними. Четыре оценщика независимо проверяли решения без эталонных ответов; по семи конфигурациям GPT-6-Astra показал средний процент «решённых» задач 14,0% против 5,5–6,7% у полноразмерных открытых моделей и 2,4–3,7% у Flash-моделей.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- OpenProblemBench — новый бенчмарк (arXiv:2610.11118v1), содержащий 82 нерешённые задачи из математики и теоретической физики с контекстом, допущениями и описанием предшествующих результатов для работы над ними.
- Четыре оценщика независимо проверяли решения без эталонных ответов; по семи конфигурациям GPT-6-Astra показал средний процент «решённых» задач 14,0% против 5,5–6,7% у полноразмерных открытых моделей и 2,4–3,7% у Flash-моделей.
- Формулируя оценку вокруг нерешённых научных вопросов с проверяемыми критериями правильности, OpenProblemBench даёт измеримую площадку для оценки способности ИИ вносить вклад в фундаментальную теоретическую науку.
ПОЧЕМУ ЭТО ВАЖНО
Формулируя оценку вокруг нерешённых научных вопросов с проверяемыми критериями правильности, OpenProblemBench даёт измеримую площадку для оценки способности ИИ вносить вклад в фундаментальную теоретическую науку.