ИССЛЕДОВАНИЕ · RESEARCH · #2182
Проверка планирования LLM‑агентов с помощью формальной семантики PDDL
Эта статья на arXiv проверяет утверждения о способности LLM‑агентов к планированию, сопоставляя задания на естественном языке с скрытыми моделями PDDL, которые формально определяют применимость действий и достижение целей. В экспериментах по пяти доменам, на четырёх моделях, с шестью стратегиями подсказок и тремя архитектурами агентов лучшая конфигурация решала 78% разрешимых задач офлайн, но лишь 40% онлайн; неразрешимые задачи распознавались менее чем в 10% эпизодов, а более тяжёлые подсказки требовали в 5–22 раза больше токенов без очевидного выигрыша.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Эта статья на arXiv проверяет утверждения о способности LLM‑агентов к планированию, сопоставляя задания на естественном языке с скрытыми моделями PDDL, которые формально определяют применимость действий и достижение целей.
- В экспериментах по пяти доменам, на четырёх моделях, с шестью стратегиями подсказок и тремя архитектурами агентов лучшая конфигурация решала 78% разрешимых задач офлайн, но лишь 40% онлайн; неразрешимые задачи распознавались менее чем в 10% эпизодов, а более тяжёлые подсказки требовали в 5–22 раза больше токенов без очевидного выигрыша.
- Статья демонстрирует, что типичные конфигурации LLM‑агентов часто не способны надёжно планировать по формальной верификации, и что для обоснования таких заявлений нужны проверяемые следы действий и формальная оценка.
ПОЧЕМУ ЭТО ВАЖНО
Статья демонстрирует, что типичные конфигурации LLM‑агентов часто не способны надёжно планировать по формальной верификации, и что для обоснования таких заявлений нужны проверяемые следы действий и формальная оценка.