Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3394

Ask2Decide — бенчмарк проверяет, запрашивают ли LLM‑агенты информацию, важную для решений

Ask2Decide — новый бенчмарк (arXiv:2611.13015v1) из 43 задач на планирование, оценивающий, запрашивают ли LLM‑агенты недостающие факты, которые меняют оптимальный план. Авторы собрали 79 сессий от 19 участников, откалибровали симулированного оператора под поведение людей и показали, что четыре передовые LLM выдавали нефункциональные первоначальные планы в 58–98% задач при отсутствии информации и выявляли решающие факты лишь немного чаще, чем нерелевантные (39–52% против 32–41%).

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Ask2Decide — новый бенчмарк (arXiv:2611.13015v1) из 43 задач на планирование, оценивающий, запрашивают ли LLM‑агенты недостающие факты, которые меняют оптимальный план.
  2. Авторы собрали 79 сессий от 19 участников, откалибровали симулированного оператора под поведение людей и показали, что четыре передовые LLM выдавали нефункциональные первоначальные планы в 58–98% задач при отсутствии информации и выявляли решающие факты лишь немного чаще, чем нерелевантные (39–52% против 32–41%).
  3. Это важно, поскольку планирование LLM в реальных задачах зависит от получения нужной недостающей информации, а бенчмарк выявляет ключевую проблему: агенты часто не получают решающие для решения факты во взаимодействии.

ПОЧЕМУ ЭТО ВАЖНО

Это важно, поскольку планирование LLM в реальных задачах зависит от получения нужной недостающей информации, а бенчмарк выявляет ключевую проблему: агенты часто не получают решающие для решения факты во взаимодействии.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1