ИССЛЕДОВАНИЕ · RESEARCH · #2472
RegretBench и BackUpper: измерение и автоматизация резервных копий для кодирующих агентов
Статья на arXiv (arXiv:2610.28934v1) представляет RegretBench — набор из 205 задач, основанных на реальных случаях сожаления о потере состояния, — и BackUpper, плагин‑оболочку, которая проверяет вызовы инструментов и сохраняет изменяемое состояние заранее. По результатам, шесть современных моделей выполняют в среднем 86.1% задач, но делают резервные копии до моментов сожаления только в 15.2% случаев; BackUpper покрывает все такие действия, восстанавливает состояние с 92.2% средней схожести, стоит ≈$0.014 на задачу, использует в 7 раз меньше токенов, чем базовый самобэкап, и достигает 84.5% F1 при учёте предпочтений пользователей.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья на arXiv (arXiv:2610.28934v1) представляет RegretBench — набор из 205 задач, основанных на реальных случаях сожаления о потере состояния, — и BackUpper, плагин‑оболочку, которая проверяет вызовы инструментов и сохраняет изменяемое состояние заранее.
- По результатам, шесть современных моделей выполняют в среднем 86.1% задач, но делают резервные копии до моментов сожаления только в 15.2% случаев; BackUpper покрывает все такие действия, восстанавливает состояние с 92.2% средней схожести, стоит ≈$0.014 на задачу, использует в 7 раз меньше токенов, чем базовый самобэкап, и достигает 84.5% F1 при учёте предпочтений пользователей.
- Автоматические резервные копии делают изменения агентов обратимыми и безопасными с низкой стоимостью, закрывая упущенное практическое слабое место при модификации реального состояния.
ПОЧЕМУ ЭТО ВАЖНО
Автоматические резервные копии делают изменения агентов обратимыми и безопасными с низкой стоимостью, закрывая упущенное практическое слабое место при модификации реального состояния.