ИССЛЕДОВАНИЕ · RESEARCH · #2614
SkillShift-Bench: бенчмарк для обучения навыкам при изменениях среды в открытой среде
SkillShift-Bench — новый бенчмарк и набор из трёх самохостящихся веб‑сред (с кодом и таблицей лидеров), оценивающий обучение навыкам у веб‑агентов при управляемых сдвигах: Контекстном, Перцепционном и Исполнительном. Эксперименты показывают систематическое ухудшение устойчивости — снижение успеха, рост затрат на взаимодействие и больше сбоев навыков (особенно при Исполнительном сдвиге); работа формулирует задачу сдвинутого исполнения навыков как нестационарную проблему выполняемости, предлагает анализ динамического регрета и метод адаптации во время тестирования.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- SkillShift-Bench — новый бенчмарк и набор из трёх самохостящихся веб‑сред (с кодом и таблицей лидеров), оценивающий обучение навыкам у веб‑агентов при управляемых сдвигах: Контекстном, Перцепционном и Исполнительном.
- Эксперименты показывают систематическое ухудшение устойчивости — снижение успеха, рост затрат на взаимодействие и больше сбоев навыков (особенно при Исполнительном сдвиге); работа формулирует задачу сдвинутого исполнения навыков как нестационарную проблему выполняемости, предлагает анализ динамического регрета и метод адаптации во время тестирования.
- Предоставляет первый управляемый бенчмарк, который показывает, как изменения среды ухудшают обученные навыки веб‑агентов, и предлагает подходы к адаптации и теоретическую формулировку проблемы.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет первый управляемый бенчмарк, который показывает, как изменения среды ухудшают обученные навыки веб‑агентов, и предлагает подходы к адаптации и теоретическую формулировку проблемы.