ИССЛЕДОВАНИЕ · RESEARCH · #934
Policy-as-Skill: управляемый рантайм поддержки решений LLM (arXiv:2609.27087v1)
В статье представлен Policy-as-Skill (PaS) — модульный рантайм, в котором функции проверки доказательств, маршрутизации на ревью, контроля версий и аудита оформлены как исполняемые версионируемые политики. На 600 задачах разработки с фиксированным бэкендом Gemma4 авторы оценили 13 методов: PaS+Audit показал точность (exact) 53.8%, macro‑F1 0.346, review F1 0.854, precision цитирования 1.000, recall ссылок на политику 0.984 и полноту аудита 1.000; детерминированный контроль повысил агрегированную точность до 61.2% при сильной зависимости от задачи, и PaS+Audit превзошёл LLM+RAG по большинству метрик управления и проверки.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье представлен Policy-as-Skill (PaS) — модульный рантайм, в котором функции проверки доказательств, маршрутизации на ревью, контроля версий и аудита оформлены как исполняемые версионируемые политики.
- На 600 задачах разработки с фиксированным бэкендом Gemma4 авторы оценили 13 методов: PaS+Audit показал точность (exact) 53.8%, macro‑F1 0.346, review F1 0.854, precision цитирования 1.000, recall ссылок на политику 0.984 и полноту аудита 1.000; детерминированный контроль повысил агрегированную точность до 61.2% при сильной зависимости от задачи, и PaS+Audit превзошёл LLM+RAG по большинству метрик управления и проверки.
- Важно потому, что PaS оформляет функции управления (проверка доказательств, маршрутизация на ревью, версионирование, аудит) в исполняемый рантайм и демонстрирует улучшенные метрики управления/ревью по сравнению с LLM+RAG, предлагая практический путь к более аудируемой поддержке решений LLM.
ПОЧЕМУ ЭТО ВАЖНО
Важно потому, что PaS оформляет функции управления (проверка доказательств, маршрутизация на ревью, версионирование, аудит) в исполняемый рантайм и демонстрирует улучшенные метрики управления/ревью по сравнению с LLM+RAG, предлагая практический путь к более аудируемой поддержке решений LLM.