ИССЛЕДОВАНИЕ · RESEARCH · #1837
Work2Skill: фреймворк, датасет (WorkDemo-350) и метод для повторно используемых навыков GUI‑агентов (arXiv:2610.12984v1)
В статье представлен Work2Skill — фреймворк для фиксации опыта человека при работе с десктопным GUI и вывода повторно используемых навыков агента. Описаны WorkRecorder для синхронного мультимодального сбора (экран, мышь/клавиатура, дерево доступности), датасет WorkDemo-350 из 350 отобранных демонстраций и метод индукции навыков, который повышает оценки моделей по сравнению с базой без навыков (средний прирост 4.67–10.54 по MyPCBench Bounded Action и 3.11–7.50 по 286 задачам OSWorld-Verified); код и данные доступны на GitHub.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье представлен Work2Skill — фреймворк для фиксации опыта человека при работе с десктопным GUI и вывода повторно используемых навыков агента.
- Описаны WorkRecorder для синхронного мультимодального сбора (экран, мышь/клавиатура, дерево доступности), датасет WorkDemo-350 из 350 отобранных демонстраций и метод индукции навыков, который повышает оценки моделей по сравнению с базой без навыков (средний прирост 4.67–10.54 по MyPCBench Bounded Action и 3.11–7.50 по 286 задачам OSWorld-Verified); код и данные доступны на GitHub.
- Фиксация синхронизированных человеческих демонстраций GUI и индукция повторно используемых навыков помогает агентам обобщать правила рабочих процессов в незнакомом софте, повышая успех выполнения GUI‑задач и оценки.
ПОЧЕМУ ЭТО ВАЖНО
Фиксация синхронизированных человеческих демонстраций GUI и индукция повторно используемых навыков помогает агентам обобщать правила рабочих процессов в незнакомом софте, повышая успех выполнения GUI‑задач и оценки.