Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #7629

GUI agents

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

3

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

ECHOES: привилегированная on-policy дистилляция и рекурсивная компрессия текстовой истории для GUI-агентов

ECHOES — метод обучения GUI‑агентов, который рекурсивно сжимает визуальную историю в текстовое состояние в формате Compression-Think-Action (CTA). Во время обучения учитель с доступом к нескольким изображениям даёт плотную token‑уровневую привилегированную on-policy дистилляцию студенту; в связке с PMF‑Gap‑управляемым OPD‑RL и периодическими обновлениями учителя это повышает качество задач и точность памяти без хранения скриншотов при развёртывании и включает диагностический бенчмарк ECHOESBMK.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Work2Skill: фреймворк, датасет (WorkDemo-350) и метод для повторно используемых навыков GUI‑агентов (arXiv:2610.12984v1)

В статье представлен Work2Skill — фреймворк для фиксации опыта человека при работе с десктопным GUI и вывода повторно используемых навыков агента. Описаны WorkRecorder для синхронного мультимодального сбора (экран, мышь/клавиатура, дерево доступности), датасет WorkDemo-350 из 350 отобранных демонстраций и метод индукции навыков, который повышает оценки моделей по сравнению с базой без навыков (средний прирост 4.67–10.54 по MyPCBench Bounded Action и 3.11–7.50 по 286 задачам OSWorld-Verified); код и данные доступны на GitHub.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

GUI-SD-v2 расширяет on-policy self-distillation для многошаговых GUI‑агентов

Статья на arXiv (2609.27307v1) представляет GUI-SD-v2 — двухэтапную схему обучения, расширяющую on-policy self-distillation (OPSD) от привязки к GUI до многошагового взаимодействия с GUI путём совместной оптимизации прогона с привилегированным и без такового руководства и селективной дистилляции пошагового рассуждения и памяти. Авторы сообщают, что GUI-SD-v2 повышает показатели Pass@1 и Pass@3 по сравнению с OPSD-базовыми методами и оценёнными SOTA на бенчмарках AndroidWorld и MobileWorld; код и данные обучения будут опубликованы.

6.0