ИССЛЕДОВАНИЕ · RESEARCH · #2884
Seq@K: протокол оценки последовательного решения задач с учётом обратной связи для LMs
В статье предлагается Seq@K — протокол, оценивающий, может ли языковая модель решить задачу в течение K последовательных попыток при наличии обратной связи после каждой неудачи. На 7 наборах задач и 16 передовых моделях Seq@K часто даёт иные рейтинги по сравнению с Pass@K, изменяет парето-фронтиры оптимальных конфигураций и выявляет особенности итеративного улучшения и зависимость от формата обратной связи.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье предлагается Seq@K — протокол, оценивающий, может ли языковая модель решить задачу в течение K последовательных попыток при наличии обратной связи после каждой неудачи.
- На 7 наборах задач и 16 передовых моделях Seq@K часто даёт иные рейтинги по сравнению с Pass@K, изменяет парето-фронтиры оптимальных конфигураций и выявляет особенности итеративного улучшения и зависимость от формата обратной связи.
- Seq@K важен тем, что лучше соответствует агентным рабочим процессам с обратной связью и может влиять на выбор моделей и конфигураций для систем, выполняющих итеративное улучшение ответов.
ПОЧЕМУ ЭТО ВАЖНО
Seq@K важен тем, что лучше соответствует агентным рабочим процессам с обратной связью и может влиять на выбор моделей и конфигураций для систем, выполняющих итеративное улучшение ответов.