ReplayRCA: бенчмарк на основе вмешательств для диагностики и надзора за ошибками агентных LМ
Авторы представляют ReplayRCA — бенчмарк, который оценивает посмертную (post-hoc) диагностику и однократный живой надзор за агентами на основе контрфактического воспроизведения действия и измерения «causal repair» (успех продолжения минус плацебо). На задачах из OpsWorld сообщается, что Grok 4.7 показал наилучший causal repair (+51,3) по 62 калиброванным ошибкам, восемь лучших моделей статистически неотличимы, пять ошибок не удалось починить ни одной модели, вмешательство в последний шаг снижает результат на 17,1 пункта, а пост-хок ранжирование плохо предсказывает эффективность живого надзора; окружение и код выложены на GitHub.