ИССЛЕДОВАНИЕ · RESEARCH · #2558
Воспроизводимая офлайн‑оценка позволяет корректностно‑ограниченное сжатие подсказок для продакшн‑агентов (arXiv:2610.31972v1)
Статья (arXiv:2610.31972v1) описывает офлайн‑харднесс для оценки, который остаётся воспроизводимым даже при изменяющихся бэкенд‑данных и может быть воссоздан по необходимости, и использует этот харднесс как функцию пригодности для GEPA‑оптимизации подсказок с «корректностной» защитой от манипуляций с вознаграждением. Для продакшн‑мерчант‑агента такое сжатие подсказок уменьшило объём подсказок на 3.5–7.6% без ухудшения точности на отложенных задачах в трёх независимых семействax моделей, и для одного семейства точность даже улучшилась.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья (arXiv:2610.31972v1) описывает офлайн‑харднесс для оценки, который остаётся воспроизводимым даже при изменяющихся бэкенд‑данных и может быть воссоздан по необходимости, и использует этот харднесс как функцию пригодности для GEPA‑оптимизации подсказок с «корректностной» защитой от манипуляций с вознаграждением.
- Для продакшн‑мерчант‑агента такое сжатие подсказок уменьшило объём подсказок на 3.5–7.6% без ухудшения точности на отложенных задачах в трёх независимых семействax моделей, и для одного семейства точность даже улучшилась.
- Предоставляет практичный воспроизводимый метод оценки для агентов, работающих с изменяющимися данными, и демонстрирует защищённое сжатие подсказок, уменьшающее их объём без снижения (а иногда с повышением) корректности задач.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет практичный воспроизводимый метод оценки для агентов, работающих с изменяющимися данными, и демонстрирует защищённое сжатие подсказок, уменьшающее их объём без снижения (а иногда с повышением) корректности задач.