ИССЛЕДОВАНИЕ · RESEARCH · #2109
Статья: оценка возможностей моделей по транскриптам решений при насыщении бенчмарков
В статье (arXiv:2610.20667v1) исследуют, можно ли по полным транскриптам правильно решённых заданий оценивать возможности моделей после насыщения бенчмарков. На ретроспективных симуляциях авторы сравнивают подходы (парное сравнение, абсолютная оценка отдельных транскриптов, детерминированные признаки/встраивания) и показывают, что транскрипты содержат информацию о способностях сверх точности — парное сравнение уменьшило ошибку предсказания в 5.3 раза по сравнению с использованием только насыщенных баллов, но некоторые протоколы плохо обобщаются при сдвиге распределения (например, недооценивают первые reasoning-модели начала 2025 г.).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье (arXiv:2610.20667v1) исследуют, можно ли по полным транскриптам правильно решённых заданий оценивать возможности моделей после насыщения бенчмарков.
- На ретроспективных симуляциях авторы сравнивают подходы (парное сравнение, абсолютная оценка отдельных транскриптов, детерминированные признаки/встраивания) и показывают, что транскрипты содержат информацию о способностях сверх точности — парное сравнение уменьшило ошибку предсказания в 5.3 раза по сравнению с использованием только насыщенных баллов, но некоторые протоколы плохо обобщаются при сдвиге распределения (например, недооценивают первые reasoning-модели начала 2025 г.).
- Показывает, что транскрипты заданий могут продлить полезность насыщенных бенчмарков для оценки способностей моделей и подчёркивает методы (и ограничения обобщения), важные для безопасности и политики на фронтире.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что транскрипты заданий могут продлить полезность насыщенных бенчмарков для оценки способностей моделей и подчёркивает методы (и ограничения обобщения), важные для безопасности и политики на фронтире.