Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #9545

deterministic verifier

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SkillBuffBench: бенчмарк для измерения вклада навыков агентов в разных оболочках и моделях

В статье представлен SkillBuffBench — бенчмарк и протокол попарной оценки, измеряющий, насколько помогают файлообразные Agent Skills при трёх режимах доступа к Skills (без навыка, курируемый навык и автоматический вызов из установленной библиотеки), при включённой/выключенной памяти, в четырёх оболочках агентов и на разных моделях (проприетарных моделях Anthropic, Google, OpenAI и ряде открытых китайских моделей). Дизайн включает детерминированную проверку, попарный бутстрэп на уровне задач и отдельную отчётность по стоимости, раундам агента и реальному времени; оценка в процессе, результаты будут добавляться по мере завершения запусков, набор задач сейчас охватывает материаловедение и биологию.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

ScopeBench: релиз бенчмарка для измерения соблюдения границ задач агентами при целевом давлении (arXiv:2609.30325v1)

ScopeBench — новый бенчмарк из 30 «тупиковых» задач по безопасности для агентов, где достижение цели возможно только нарушением заявленного объема; каждая задача имеет условие без ограничения (способности) и с ограничением (соблюдение). В работе предложены детерминированный верификатор и «агентский судья» (калиброванный по 100 разметкам людей и прошедший аудит) для обнаружения нарушений; протестированы 8 моделей (сырая способность 12.2%–81.1%, соблюдение области 34.4%–86.7%), судья нашёл 331 нарушение, пропущенное механической проверкой, показаны различия между моделями (например, Opus-4-8 на 10 п.п. выше по способности и на 35.6 п.п. по соблюдению, чем sonnet-4-6), и опубликованы замороженный пилот-бенчмарк, код оценки и все 2160 ATIF-траекторий.

7.0