Seq@K: протокол оценки последовательного решения задач с учётом обратной связи для LMs
В статье предлагается Seq@K — протокол, оценивающий, может ли языковая модель решить задачу в течение K последовательных попыток при наличии обратной связи после каждой неудачи. На 7 наборах задач и 16 передовых моделях Seq@K часто даёт иные рейтинги по сравнению с Pass@K, изменяет парето-фронтиры оптимальных конфигураций и выявляет особенности итеративного улучшения и зависимость от формата обратной связи.