ИССЛЕДОВАНИЕ · RESEARCH · #2321
ReuF2F: бенчмарк на Lean 4 из 244 открытых задач REU для кодирующих агентов
ReuF2F — новый бенчмарк на Lean 4 (arXiv:2610.27046v1) из 244 формализованных открытых задач, взятых из программ Research Experiences for Undergraduates (REU). Бенчмарк упаковывает каждую задачу и её логическое отрицание в проект Lean внутри Docker-контейнера, включает унифицированный тестовый каркас (Leanimum-agent на базе mini-SWE-agent) и показывает, что лучшая модель решает лишь ~40% задач.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- ReuF2F — новый бенчмарк на Lean 4 (arXiv:2610.27046v1) из 244 формализованных открытых задач, взятых из программ Research Experiences for Undergraduates (REU).
- Бенчмарк упаковывает каждую задачу и её логическое отрицание в проект Lean внутри Docker-контейнера, включает унифицированный тестовый каркас (Leanimum-agent на базе mini-SWE-agent) и показывает, что лучшая модель решает лишь ~40% задач.
- ReuF2F предоставляет набор формализованных открытых задач для честной оценки кодирующих агентов и единую среду запуска, что позволяет выявить реальные ограничения моделей и значительный запас для улучшения.
ПОЧЕМУ ЭТО ВАЖНО
ReuF2F предоставляет набор формализованных открытых задач для честной оценки кодирующих агентов и единую среду запуска, что позволяет выявить реальные ограничения моделей и значительный запас для улучшения.