Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #31518

autorater

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · Google

Google и Artificial Analysis запускают бенчмарк Multimodal Knowledge Agent (MKA)

MKA — новый бенчмарк, созданный совместно с Artificial Analysis, оценивающий, как агенты рассуждают с визуально сложными файлами в реалистичных задачах знанийной работы; он включает приватный набор из 200 заданий (и 10 публичных на Hugging Face), открытый агентный каркас Stirrup и автоматического оценщика (autorater). Отчёт показывает значительные различия в эффективности и восприятии между моделями; Gemini 4 Carbon занимает второе место по качеству и выполняет задачи примерно в 6× дешевле, чем лидирующая модель.

7.0