SkillShift-Bench: бенчмарк для обучения навыкам при изменениях среды в открытой среде
SkillShift-Bench — новый бенчмарк и набор из трёх самохостящихся веб‑сред (с кодом и таблицей лидеров), оценивающий обучение навыкам у веб‑агентов при управляемых сдвигах: Контекстном, Перцепционном и Исполнительном. Эксперименты показывают систематическое ухудшение устойчивости — снижение успеха, рост затрат на взаимодействие и больше сбоев навыков (особенно при Исполнительном сдвиге); работа формулирует задачу сдвинутого исполнения навыков как нестационарную проблему выполняемости, предлагает анализ динамического регрета и метод адаптации во время тестирования.