Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3354

Google и Artificial Analysis запускают бенчмарк Multimodal Knowledge Agent (MKA)

MKA — новый бенчмарк, созданный совместно с Artificial Analysis, оценивающий, как агенты рассуждают с визуально сложными файлами в реалистичных задачах знанийной работы; он включает приватный набор из 200 заданий (и 10 публичных на Hugging Face), открытый агентный каркас Stirrup и автоматического оценщика (autorater). Отчёт показывает значительные различия в эффективности и восприятии между моделями; Gemini 4 Carbon занимает второе место по качеству и выполняет задачи примерно в 6× дешевле, чем лидирующая модель.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. MKA — новый бенчмарк, созданный совместно с Artificial Analysis, оценивающий, как агенты рассуждают с визуально сложными файлами в реалистичных задачах знанийной работы; он включает приватный набор из 200 заданий (и 10 публичных на Hugging Face), открытый агентный каркас Stirrup и автоматического оценщика (autorater).
  2. Отчёт показывает значительные различия в эффективности и восприятии между моделями; Gemini 4 Carbon занимает второе место по качеству и выполняет задачи примерно в 6× дешевле, чем лидирующая модель.
  3. MKA задаёт более реалистичную мультимодальную проверку способностей агентов и выявляет важные компромиссы между качеством, стоимостью и возможностями восприятия, влияющие на разработку и развёртывание систем-агентов.

ПОЧЕМУ ЭТО ВАЖНО

MKA задаёт более реалистичную мультимодальную проверку способностей агентов и выявляет важные компромиссы между качеством, стоимостью и возможностями восприятия, влияющие на разработку и развёртывание систем-агентов.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1