Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #36283

SkillBuffBench

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SkillBuffBench: бенчмарк для измерения вклада навыков агентов в разных оболочках и моделях

В статье представлен SkillBuffBench — бенчмарк и протокол попарной оценки, измеряющий, насколько помогают файлообразные Agent Skills при трёх режимах доступа к Skills (без навыка, курируемый навык и автоматический вызов из установленной библиотеки), при включённой/выключенной памяти, в четырёх оболочках агентов и на разных моделях (проприетарных моделях Anthropic, Google, OpenAI и ряде открытых китайских моделей). Дизайн включает детерминированную проверку, попарный бутстрэп на уровне задач и отдельную отчётность по стоимости, раундам агента и реальному времени; оценка в процессе, результаты будут добавляться по мере завершения запусков, набор задач сейчас охватывает материаловедение и биологию.

7.0