ИССЛЕДОВАНИЕ · RESEARCH · #2981
ReplayRCA: бенчмарк на основе вмешательств для диагностики и надзора за ошибками агентных LМ
Авторы представляют ReplayRCA — бенчмарк, который оценивает посмертную (post-hoc) диагностику и однократный живой надзор за агентами на основе контрфактического воспроизведения действия и измерения «causal repair» (успех продолжения минус плацебо). На задачах из OpsWorld сообщается, что Grok 4.7 показал наилучший causal repair (+51,3) по 62 калиброванным ошибкам, восемь лучших моделей статистически неотличимы, пять ошибок не удалось починить ни одной модели, вмешательство в последний шаг снижает результат на 17,1 пункта, а пост-хок ранжирование плохо предсказывает эффективность живого надзора; окружение и код выложены на GitHub.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы представляют ReplayRCA — бенчмарк, который оценивает посмертную (post-hoc) диагностику и однократный живой надзор за агентами на основе контрфактического воспроизведения действия и измерения «causal repair» (успех продолжения минус плацебо).
- На задачах из OpsWorld сообщается, что Grok 4.7 показал наилучший causal repair (+51,3) по 62 калиброванным ошибкам, восемь лучших моделей статистически неотличимы, пять ошибок не удалось починить ни одной модели, вмешательство в последний шаг снижает результат на 17,1 пункта, а пост-хок ранжирование плохо предсказывает эффективность живого надзора; окружение и код выложены на GitHub.
- ReplayRCA даёт основанную на вмешательствах, причинно обусловленную оценку, которая выявляет существенные расхождения между метриками по аннотациям, пост-хок диагностикой и реальной эффективностью живого надзора агентных LМ.
ПОЧЕМУ ЭТО ВАЖНО
ReplayRCA даёт основанную на вмешательствах, причинно обусловленную оценку, которая выявляет существенные расхождения между метриками по аннотациям, пост-хок диагностикой и реальной эффективностью живого надзора агентных LМ.