Проверка планирования LLM‑агентов с помощью формальной семантики PDDL
Эта статья на arXiv проверяет утверждения о способности LLM‑агентов к планированию, сопоставляя задания на естественном языке с скрытыми моделями PDDL, которые формально определяют применимость действий и достижение целей. В экспериментах по пяти доменам, на четырёх моделях, с шестью стратегиями подсказок и тремя архитектурами агентов лучшая конфигурация решала 78% разрешимых задач офлайн, но лишь 40% онлайн; неразрешимые задачи распознавались менее чем в 10% эпизодов, а более тяжёлые подсказки требовали в 5–22 раза больше токенов без очевидного выигрыша.