ИССЛЕДОВАНИЕ · RESEARCH · #3548
Выпущен бенчмарк XYBench для проверки обработки «XY-проблемы» моделями (Лучший ресурс EMNLP 2026)
XYBench — это набор из 8 115 вопросов (из Stack Overflow, Stack Exchange, вручную подобранных примеров и вопросов, сгенерированных по руководствам WikiHow), который проверяет, распознают ли ассистенты ситуацию, когда пользователь спрашивает про ошибочный подход (Y) вместо фактической цели (X). Разработанный совместно с Carnegie Mellon, NVIDIA и Johns Hopkins и автоматически оцениваемый Sonnet 4.5, XYBench протестировал модели (Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B, DeepSeek-V4 Pro) и обнаружил, что они часто отвечают на заявленный подход, а не перенаправляют к решению истинной цели; статья получила награду Best Resource Paper на EMNLP 2026.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- XYBench — это набор из 8 115 вопросов (из Stack Overflow, Stack Exchange, вручную подобранных примеров и вопросов, сгенерированных по руководствам WikiHow), который проверяет, распознают ли ассистенты ситуацию, когда пользователь спрашивает про ошибочный подход (Y) вместо фактической цели (X).
- Разработанный совместно с Carnegie Mellon, NVIDIA и Johns Hopkins и автоматически оцениваемый Sonnet 4.5, XYBench протестировал модели (Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B, DeepSeek-V4 Pro) и обнаружил, что они часто отвечают на заявленный подход, а не перенаправляют к решению истинной цели; статья получила награду Best Resource Paper на EMNLP 2026.
- XYBench адресует реальную проблему ассистентов — умение распознавать и исправлять ошибочные предположения пользователей — что даёт стандартный способ измерить и улучшить диагностику и прагматическое понимание моделей.
ПОЧЕМУ ЭТО ВАЖНО
XYBench адресует реальную проблему ассистентов — умение распознавать и исправлять ошибочные предположения пользователей — что даёт стандартный способ измерить и улучшить диагностику и прагматическое понимание моделей.