ИССЛЕДОВАНИЕ · RESEARCH · #2157
Бенчмарк Taste-Bench показывает, что агентам ИИ трудно с долгосрочными ответвлениями решений
Исследователи из Microsoft и Городского университета Гонконга выпустили Taste-Bench — набор из 502 вопросов для оценки «вкуса» агента, то есть способности выбирать между ответвлениями долгосрочных планов, фиксируя «вилки решений» в траекториях агента. Лучший протестированный модель (GPT-5.6 Sol) показала 59,7% точности, большинство моделей значительно ниже; дистилляция от Qwen3.6-27B подняла точность суждения студента с 30% до 47,9% и увеличила успех агента на 41 отложенной задаче SWE-bench Pro с 14,6% до 33,7%.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Исследователи из Microsoft и Городского университета Гонконга выпустили Taste-Bench — набор из 502 вопросов для оценки «вкуса» агента, то есть способности выбирать между ответвлениями долгосрочных планов, фиксируя «вилки решений» в траекториях агента.
- Лучший протестированный модель (GPT-5.6 Sol) показала 59,7% точности, большинство моделей значительно ниже; дистилляция от Qwen3.6-27B подняла точность суждения студента с 30% до 47,9% и увеличила успех агента на 41 отложенной задаче SWE-bench Pro с 14,6% до 33,7%.
- Taste-Bench выявляет ключевую проблему — прогнозирование отложенных последствий решений — и даёт целевой бенчмарк и путь (дистилляция/советы) для измерения и улучшения долгосрочного планирования агентов.
ПОЧЕМУ ЭТО ВАЖНО
Taste-Bench выявляет ключевую проблему — прогнозирование отложенных последствий решений — и даёт целевой бенчмарк и путь (дистилляция/советы) для измерения и улучшения долгосрочного планирования агентов.