Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #33780

Sonnet 4.5

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · Hugging Face

Выпущен бенчмарк XYBench для проверки обработки «XY-проблемы» моделями (Лучший ресурс EMNLP 2026)

XYBench — это набор из 8 115 вопросов (из Stack Overflow, Stack Exchange, вручную подобранных примеров и вопросов, сгенерированных по руководствам WikiHow), который проверяет, распознают ли ассистенты ситуацию, когда пользователь спрашивает про ошибочный подход (Y) вместо фактической цели (X). Разработанный совместно с Carnegie Mellon, NVIDIA и Johns Hopkins и автоматически оцениваемый Sonnet 4.5, XYBench протестировал модели (Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B, DeepSeek-V4 Pro) и обнаружил, что они часто отвечают на заявленный подход, а не перенаправляют к решению истинной цели; статья получила награду Best Resource Paper на EMNLP 2026.

7.0