Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #34032

biology

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SkillBuffBench: бенчмарк для измерения вклада навыков агентов в разных оболочках и моделях

В статье представлен SkillBuffBench — бенчмарк и протокол попарной оценки, измеряющий, насколько помогают файлообразные Agent Skills при трёх режимах доступа к Skills (без навыка, курируемый навык и автоматический вызов из установленной библиотеки), при включённой/выключенной памяти, в четырёх оболочках агентов и на разных моделях (проприетарных моделях Anthropic, Google, OpenAI и ряде открытых китайских моделей). Дизайн включает детерминированную проверку, попарный бутстрэп на уровне задач и отдельную отчётность по стоимости, раундам агента и реальному времени; оценка в процессе, результаты будут добавляться по мере завершения запусков, набор задач сейчас охватывает материаловедение и биологию.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

WordInferBench: бенчмарк проверяет, умеют ли агенты выводить правки в Word по контексту

WordInferBench — новый бенчмарк из 280 случаев редактирования документов Word, каждый вариант представлен в трех типах инструкций — описательной, референциальной и инференциальной — и сконструирован так, чтобы целевое форматирование можно было восстановить по примеру в документе. Авторы протестировали шесть современных coding‑агентов (данные взяты из реальных Word‑файлов через Common Crawl) и сообщают, что лучший из них, Claude Code с Opus 4.6, показывает 62.9% успеха для описательных инструкций, но только 40.7% для инференциальных, что указывает на значимый провал при выводе форматирования по контексту.

7.0