ИССЛЕДОВАНИЕ · RESEARCH · #2189
Статья PRIME предлагает проверяемые доказательной логикой проверки для агентов на базе LLM
Авторы представляют PRIME (Precommitted Rules for Inference from Minimal Evidence) — систему, которая заранее фиксирует пути обоснования и ведёт реестр результатов проверок, чтобы агенты на базе LLM сообщали только выводы, оправданные предопределёнными правилами. По данным статьи, на 480 задачах с публичными записями базовые агенты давали неоправданные выводы в 26.7% случаев, тогда как PRIME — ни разу; направленные дополнительные проверки повысили средний балл оправданных выводов с 30.1 (при простом отказе) до 59.2 из 100.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы представляют PRIME (Precommitted Rules for Inference from Minimal Evidence) — систему, которая заранее фиксирует пути обоснования и ведёт реестр результатов проверок, чтобы агенты на базе LLM сообщали только выводы, оправданные предопределёнными правилами.
- По данным статьи, на 480 задачах с публичными записями базовые агенты давали неоправданные выводы в 26.7% случаев, тогда как PRIME — ни разу; направленные дополнительные проверки повысили средний балл оправданных выводов с 30.1 (при простом отказе) до 59.2 из 100.
- PRIME нацелен на реальную проблему надёжности агентов LLM — он вводит предопределённые пути обоснования и аудируемый реестр, что позволяет снизить число неоправданных или слабых выводов в ответственных проверках.
ПОЧЕМУ ЭТО ВАЖНО
PRIME нацелен на реальную проблему надёжности агентов LLM — он вводит предопределённые пути обоснования и аудируемый реестр, что позволяет снизить число неоправданных или слабых выводов в ответственных проверках.