Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #27777

arXiv:2610.41025v1

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

ReplayRCA: бенчмарк на основе вмешательств для диагностики и надзора за ошибками агентных LМ

Авторы представляют ReplayRCA — бенчмарк, который оценивает посмертную (post-hoc) диагностику и однократный живой надзор за агентами на основе контрфактического воспроизведения действия и измерения «causal repair» (успех продолжения минус плацебо). На задачах из OpsWorld сообщается, что Grok 4.7 показал наилучший causal repair (+51,3) по 62 калиброванным ошибкам, восемь лучших моделей статистически неотличимы, пять ошибок не удалось починить ни одной модели, вмешательство в последний шаг снижает результат на 17,1 пункта, а пост-хок ранжирование плохо предсказывает эффективность живого надзора; окружение и код выложены на GitHub.

7.0