SkillsBench

2026-10-21

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SPEM: структура-осознанная процедурная память для эффективного использования навыков в агентах на основе LLM (предпубликация arXiv)

В статье предложена SPEM — легковесная структура-осознанная процедурная память, которая хранит Atomic Skill Memory для отдельных навыков и Skill-DAG Memory для повторно используемых композиций; для выбора навыков используется Skill-GNN, а успешные выполнения сохраняются как новые Skill-DAG. На ALFWorld и SkillsBench SPEM достигает 87,1% успеха в ALFWorld и 38,38% награды в SkillsBench при снижении затрат по токенам и времени выполнения по сравнению с сильными базовыми методами.

7.0

2026-10-21

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

PROVISO: контроллер с учётом происхождения данных для защиты агентов LLM (arXiv:2610.27115v1)

PROVISO — контроллер, который принимает решение о выполнении действия агента LLM, кодируя доверенные наблюдения, внешние выводы инструментов, предложенное действие и альтернативу в памяти с типами происхождения и выбирая действие с наивысшей откалиброванной ценностью, выученной по результатам. В тестах на четырёх задачах безопасности агентов PROVISO превосходит базовые методы — повышая F1 на 13,84 пункта на SkillsBench и на 7,07 пункта на ToolSafe и достигая 88–99 F1 на трёх дополнительных наборах для детекции навыков.

7.0

2026-10-16

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SkillNEO: неэлистическая эволюционная оптимизация навыков агентов (arXiv:2610.20926v1)

В arXiv:2610.20926v1 представлен SkillNEO (неэлистическая эволюционная оптимизация навыков агентов), который разделяет выбор версии для выполнения и набор версий, сохраняемых для доработки, позволяя пересматривать и улучшать низкооцениваемые промежуточные версии вместо их отбора. На 86 задачах SkillsBench в восьми доменах (например, разработка ПО и офисные задачи) SkillNEO повышает среднюю награду GPT-5.4 Mini с 49.1% до 66.4%; повторное использование модифицированных навыков улучшает GPT-5.6 Luna на 10.5 процентных пункта на 41 модифицированной задаче и выводит GPT-5.5 на 10.6 пункта выше опубликованного референса с исходными навыками.

7.0

2026-10-15

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

ClawLoop: платформа для самосовершенствующихся LLM-агентов в хабе (arXiv:2610.14118v1)

Препринт arXiv:2610.14118v1 предлагает ClawLoop — замкнутый цикл обучения для LLM-агентов в «хабе», который итеративно синтезирует задания, обучает агентa (SFT/ RL) и анализирует ошибки для генерации данных следующего раунда без внешнего учителя. С использованием Qwen3.6-27B в качестве модели цикла авторы демонстрируют стабильные улучшения в SkillsBench, Claw-Eval-Live и ClawGym-Bench и показывают, что сгенерированные задачи переносят выгоды на меньшие модели Qwen3.5 4B и 9B.

7.0