ИССЛЕДОВАНИЕ · RESEARCH · #1195
ProvenanceGuard: проверка фактичности с учётом источников для агентов, использующих MCP
В работе ProvenanceGuard предложен постгенеративный проверяющий модуль, который сохраняет идентификаторы источников из трасс MCP и проверяет не только поддержку каждого утверждения, но и корректность его атрибуции. Метод разбивает ответ на утверждения, находит для каждого релевантный источник, проверяет поддержку (в локальной конфигурации авторов использовались MiniLM и DeBERTa), сверяет заявленную атрибуцию и может блокировать или инициировать корректирующие правки; в экспериментах использовали 281 реальную трассу медицинского агента.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе ProvenanceGuard предложен постгенеративный проверяющий модуль, который сохраняет идентификаторы источников из трасс MCP и проверяет не только поддержку каждого утверждения, но и корректность его атрибуции.
- Метод разбивает ответ на утверждения, находит для каждого релевантный источник, проверяет поддержку (в локальной конфигурации авторов использовались MiniLM и DeBERTa), сверяет заявленную атрибуцию и может блокировать или инициировать корректирующие правки; в экспериментах использовали 281 реальную трассу медицинского агента.
- Это решает проблему смешения источников — когда факт есть в объединённой доказательной базе, но приписан неверному инструменту — что критично для безопасности и соответствия в системах с чувствительными данными.
ПОЧЕМУ ЭТО ВАЖНО
Это решает проблему смешения источников — когда факт есть в объединённой доказательной базе, но приписан неверному инструменту — что критично для безопасности и соответствия в системах с чувствительными данными.