Бенчмарк Taste-Bench показывает, что агентам ИИ трудно с долгосрочными ответвлениями решений
Исследователи из Microsoft и Городского университета Гонконга выпустили Taste-Bench — набор из 502 вопросов для оценки «вкуса» агента, то есть способности выбирать между ответвлениями долгосрочных планов, фиксируя «вилки решений» в траекториях агента. Лучший протестированный модель (GPT-5.6 Sol) показала 59,7% точности, большинство моделей значительно ниже; дистилляция от Qwen3.6-27B подняла точность суждения студента с 30% до 47,9% и увеличила успех агента на 41 отложенной задаче SWE-bench Pro с 14,6% до 33,7%.