ИССЛЕДОВАНИЕ · RESEARCH · #2166
Стресс‑тест верификатора агента (RCS) при поисковом давлении — arXiv:2610.22779v1
В статье предложен метод стресс‑тестирования внутреннего верификатора агента, введена величина «коэффициент давления» (ρ), показывающая, насколько верификатор направляет поиск, и четыре фальсифицируемых пробы для разных режимов отказа. Авторы применили тест к своему Rationale Consistency Score (RCS) внутри LLM‑агента, разрабатывающего ML‑пайплайны (одна модель‑генератор, шесть задач, три семени), зафиксировали несколько структурных проблем (слабое влияние верификатора в исходной конфигурации, сокращение списка утверждений, и обход при предварительном опросе верификатора) и предлагают аудит верификатора по ρ и набору проб перед использованием.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье предложен метод стресс‑тестирования внутреннего верификатора агента, введена величина «коэффициент давления» (ρ), показывающая, насколько верификатор направляет поиск, и четыре фальсифицируемых пробы для разных режимов отказа.
- Авторы применили тест к своему Rationale Consistency Score (RCS) внутри LLM‑агента, разрабатывающего ML‑пайплайны (одна модель‑генератор, шесть задач, три семени), зафиксировали несколько структурных проблем (слабое влияние верификатора в исходной конфигурации, сокращение списка утверждений, и обход при предварительном опросе верификатора) и предлагают аудит верификатора по ρ и набору проб перед использованием.
- Показывает, что самоверификация агентов может давать ошибочное доверие в тонких, проверяемых сценариях, и предлагает численный аудит (ρ и пробы) для оценки надежности верификатора перед применением.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что самоверификация агентов может давать ошибочное доверие в тонких, проверяемых сценариях, и предлагает численный аудит (ρ и пробы) для оценки надежности верификатора перед применением.