ИССЛЕДОВАНИЕ · RESEARCH · #2327
Сбои планирования LLM связаны с семантикой предикатов; h_add предсказывает структурную сложность (arXiv:2610.26964v1)
В препринте на arXiv исследуются семь доменов STRIPS: нулевая эвристика delete-relaxation h_add гораздо лучше предсказывает структурную сложность задач на отложенных доменах (средний Спирмен |ρ|=0.931 против 0.707 для гребневой регрессии и 0.400 для ARC). Авторы также показывают, что поэтапное переименование предикатов (при сохранённых состояниях, переходах и оптимальных планах) снижает успех планирования LLM с 67.5% до 40.0% без роста отказов, что указывает на то, что семантическая интерпретируемость символов, а не структурная сложность, часто объясняет неудачи LLM и что гибридным системам нужно моделировать чувствительность LLM к семантике.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте на arXiv исследуются семь доменов STRIPS: нулевая эвристика delete-relaxation h_add гораздо лучше предсказывает структурную сложность задач на отложенных доменах (средний Спирмен |ρ|=0.931 против 0.707 для гребневой регрессии и 0.400 для ARC).
- Авторы также показывают, что поэтапное переименование предикатов (при сохранённых состояниях, переходах и оптимальных планах) снижает успех планирования LLM с 67.5% до 40.0% без роста отказов, что указывает на то, что семантическая интерпретируемость символов, а не структурная сложность, часто объясняет неудачи LLM и что гибридным системам нужно моделировать чувствительность LLM к семантике.
- Работа показывает, что символические эвристики адекватно оценивают структурную сложность, и что для улучшения гибридных систем нужно моделировать чувствительность LLM к семантике предикатов, а не разрабатывать новые структурные предикторы.
ПОЧЕМУ ЭТО ВАЖНО
Работа показывает, что символические эвристики адекватно оценивают структурную сложность, и что для улучшения гибридных систем нужно моделировать чувствительность LLM к семантике предикатов, а не разрабатывать новые структурные предикторы.