Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3548

Выпущен бенчмарк XYBench для проверки обработки «XY-проблемы» моделями (Лучший ресурс EMNLP 2026)

XYBench — это набор из 8 115 вопросов (из Stack Overflow, Stack Exchange, вручную подобранных примеров и вопросов, сгенерированных по руководствам WikiHow), который проверяет, распознают ли ассистенты ситуацию, когда пользователь спрашивает про ошибочный подход (Y) вместо фактической цели (X). Разработанный совместно с Carnegie Mellon, NVIDIA и Johns Hopkins и автоматически оцениваемый Sonnet 4.5, XYBench протестировал модели (Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B, DeepSeek-V4 Pro) и обнаружил, что они часто отвечают на заявленный подход, а не перенаправляют к решению истинной цели; статья получила награду Best Resource Paper на EMNLP 2026.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. XYBench — это набор из 8 115 вопросов (из Stack Overflow, Stack Exchange, вручную подобранных примеров и вопросов, сгенерированных по руководствам WikiHow), который проверяет, распознают ли ассистенты ситуацию, когда пользователь спрашивает про ошибочный подход (Y) вместо фактической цели (X).
  2. Разработанный совместно с Carnegie Mellon, NVIDIA и Johns Hopkins и автоматически оцениваемый Sonnet 4.5, XYBench протестировал модели (Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B, DeepSeek-V4 Pro) и обнаружил, что они часто отвечают на заявленный подход, а не перенаправляют к решению истинной цели; статья получила награду Best Resource Paper на EMNLP 2026.
  3. XYBench адресует реальную проблему ассистентов — умение распознавать и исправлять ошибочные предположения пользователей — что даёт стандартный способ измерить и улучшить диагностику и прагматическое понимание моделей.

ПОЧЕМУ ЭТО ВАЖНО

XYBench адресует реальную проблему ассистентов — умение распознавать и исправлять ошибочные предположения пользователей — что даёт стандартный способ измерить и улучшить диагностику и прагматическое понимание моделей.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1