Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3572

Задержка завершения у кодирующих агентов (arXiv:2611.14960v1)

Статья (arXiv:2611.14960v1) вводит и измеряет «задержку завершения» — количество шагов между первым корректным патчем агента и окончанием его запуска — путем записи и тестирования всех различных патчей репозитория для пяти моделей, двух фреймворков агентов и трёх датасетов SWE-bench. Авторы обнаружили, что в 38–82% успешных прогонов решение появляется в первом правке, но агенты продолжают работать: медиана пост‑решающих шагов составляет 35–37% для Qwen3-Coder и 54–60% для Laguna-XS.2 на SWE-bench Verified и Multilingual, и в 1–8% случаев агент позднее отменяет ранее корректный патч.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Статья (arXiv:2611.14960v1) вводит и измеряет «задержку завершения» — количество шагов между первым корректным патчем агента и окончанием его запуска — путем записи и тестирования всех различных патчей репозитория для пяти моделей, двух фреймворков агентов и трёх датасетов SWE-bench.
  2. Авторы обнаружили, что в 38–82% успешных прогонов решение появляется в первом правке, но агенты продолжают работать: медиана пост‑решающих шагов составляет 35–37% для Qwen3-Coder и 54–60% для Laguna-XS.2 на SWE-bench Verified и Multilingual, и в 1–8% случаев агент позднее отменяет ранее корректный патч.
  3. Это количественно показывает распространённую неэффективность и риск регрессий у агентов по генерации кода, что влияет на оценку, вычислительные затраты и надёжность.

ПОЧЕМУ ЭТО ВАЖНО

Это количественно показывает распространённую неэффективность и риск регрессий у агентов по генерации кода, что влияет на оценку, вычислительные затраты и надёжность.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1