ИССЛЕДОВАНИЕ · RESEARCH · #2318
PROVISO: контроллер с учётом происхождения данных для защиты агентов LLM (arXiv:2610.27115v1)
PROVISO — контроллер, который принимает решение о выполнении действия агента LLM, кодируя доверенные наблюдения, внешние выводы инструментов, предложенное действие и альтернативу в памяти с типами происхождения и выбирая действие с наивысшей откалиброванной ценностью, выученной по результатам. В тестах на четырёх задачах безопасности агентов PROVISO превосходит базовые методы — повышая F1 на 13,84 пункта на SkillsBench и на 7,07 пункта на ToolSafe и достигая 88–99 F1 на трёх дополнительных наборах для детекции навыков.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- PROVISO — контроллер, который принимает решение о выполнении действия агента LLM, кодируя доверенные наблюдения, внешние выводы инструментов, предложенное действие и альтернативу в памяти с типами происхождения и выбирая действие с наивысшей откалиброванной ценностью, выученной по результатам.
- В тестах на четырёх задачах безопасности агентов PROVISO превосходит базовые методы — повышая F1 на 13,84 пункта на SkillsBench и на 7,07 пункта на ToolSafe и достигая 88–99 F1 на трёх дополнительных наборах для детекции навыков.
- Учёт происхождения входных данных и сравнение предложенных действий с альтернативами позволяют PROVISO сокращать вредоносные действия при сохранении полезности, решая ключевой компромисс безопасности и полезности для агентов LLM, использующих инструменты.
ПОЧЕМУ ЭТО ВАЖНО
Учёт происхождения входных данных и сравнение предложенных действий с альтернативами позволяют PROVISO сокращать вредоносные действия при сохранении полезности, решая ключевой компромисс безопасности и полезности для агентов LLM, использующих инструменты.