Статья: оценка возможностей моделей по транскриптам решений при насыщении бенчмарков
В статье (arXiv:2610.20667v1) исследуют, можно ли по полным транскриптам правильно решённых заданий оценивать возможности моделей после насыщения бенчмарков. На ретроспективных симуляциях авторы сравнивают подходы (парное сравнение, абсолютная оценка отдельных транскриптов, детерминированные признаки/встраивания) и показывают, что транскрипты содержат информацию о способностях сверх точности — парное сравнение уменьшило ошибку предсказания в 5.3 раза по сравнению с использованием только насыщенных баллов, но некоторые протоколы плохо обобщаются при сдвиге распределения (например, недооценивают первые reasoning-модели начала 2025 г.).