Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #31980

simulated operator

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Ask2Decide — бенчмарк проверяет, запрашивают ли LLM‑агенты информацию, важную для решений

Ask2Decide — новый бенчмарк (arXiv:2611.13015v1) из 43 задач на планирование, оценивающий, запрашивают ли LLM‑агенты недостающие факты, которые меняют оптимальный план. Авторы собрали 79 сессий от 19 участников, откалибровали симулированного оператора под поведение людей и показали, что четыре передовые LLM выдавали нефункциональные первоначальные планы в 58–98% задач при отсутствии информации и выявляли решающие факты лишь немного чаще, чем нерелевантные (39–52% против 32–41%).

6.0