Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #2981

ReplayRCA: бенчмарк на основе вмешательств для диагностики и надзора за ошибками агентных LМ

Авторы представляют ReplayRCA — бенчмарк, который оценивает посмертную (post-hoc) диагностику и однократный живой надзор за агентами на основе контрфактического воспроизведения действия и измерения «causal repair» (успех продолжения минус плацебо). На задачах из OpsWorld сообщается, что Grok 4.7 показал наилучший causal repair (+51,3) по 62 калиброванным ошибкам, восемь лучших моделей статистически неотличимы, пять ошибок не удалось починить ни одной модели, вмешательство в последний шаг снижает результат на 17,1 пункта, а пост-хок ранжирование плохо предсказывает эффективность живого надзора; окружение и код выложены на GitHub.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Авторы представляют ReplayRCA — бенчмарк, который оценивает посмертную (post-hoc) диагностику и однократный живой надзор за агентами на основе контрфактического воспроизведения действия и измерения «causal repair» (успех продолжения минус плацебо).
  2. На задачах из OpsWorld сообщается, что Grok 4.7 показал наилучший causal repair (+51,3) по 62 калиброванным ошибкам, восемь лучших моделей статистически неотличимы, пять ошибок не удалось починить ни одной модели, вмешательство в последний шаг снижает результат на 17,1 пункта, а пост-хок ранжирование плохо предсказывает эффективность живого надзора; окружение и код выложены на GitHub.
  3. ReplayRCA даёт основанную на вмешательствах, причинно обусловленную оценку, которая выявляет существенные расхождения между метриками по аннотациям, пост-хок диагностикой и реальной эффективностью живого надзора агентных LМ.

ПОЧЕМУ ЭТО ВАЖНО

ReplayRCA даёт основанную на вмешательствах, причинно обусловленную оценку, которая выявляет существенные расхождения между метриками по аннотациям, пост-хок диагностикой и реальной эффективностью живого надзора агентных LМ.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1