ИССЛЕДОВАНИЕ · RESEARCH · #2179
DRAGO: фреймворк детерминированной диагностики для починки формальных спецификаций, сгенерированных LLM
В статье представлен DRAGO — фреймворк починки, который заменяет неподкреплённые критики LLM детерминированной диагностикой, специфичной для формализма, и принимает правки только при строгом снижении веса диагностированных ошибок. На бенчмарках SMT-LIB2, MiniZinc и PDDL DRAGO снижает количество регрессий со 11.8% до 1.3% и повышает точность ответов на 12.9 процентных пункта по сравнению с zero-shot формализацией и на 8.7 пункта по сравнению с ремонтом на основе диагностики LLM; также обнаружены и исправлены ошибки рендеринга в датасете Planetarium.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье представлен DRAGO — фреймворк починки, который заменяет неподкреплённые критики LLM детерминированной диагностикой, специфичной для формализма, и принимает правки только при строгом снижении веса диагностированных ошибок.
- На бенчмарках SMT-LIB2, MiniZinc и PDDL DRAGO снижает количество регрессий со 11.8% до 1.3% и повышает точность ответов на 12.9 процентных пункта по сравнению с zero-shot формализацией и на 8.7 пункта по сравнению с ремонтом на основе диагностики LLM; также обнаружены и исправлены ошибки рендеринга в датасете Planetarium.
- DRAGO повышает надёжность связки LLM→символический решатель, используя формальную детерминированную диагностику для предотвращения регрессий, вызванных ненадёжными критиками LLM, и улучшения корректности результатов.
ПОЧЕМУ ЭТО ВАЖНО
DRAGO повышает надёжность связки LLM→символический решатель, используя формальную детерминированную диагностику для предотвращения регрессий, вызванных ненадёжными критиками LLM, и улучшения корректности результатов.