Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · MODELS · #2728

Artificial Analysis переработала индекс Intelligence v5 — Kimi K3.1 Pro опустился на 9-е место

Artificial Analysis выпустила переработанный индекс Intelligence (v5), в котором 60% тестов являются закрытыми, и разрыв в баллах между открытыми и закрытыми моделями вырос до 12 (ранее — 3). Обновление опустило Kimi K3.1 Pro с 4-го на 9-е место, снизило оценку Grok 4.7 на 12 баллов; для нового индекса были исправлены неоднозначные вопросы в тесте AA-Omniscience.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Artificial Analysis выпустила переработанный индекс Intelligence (v5), в котором 60% тестов являются закрытыми, и разрыв в баллах между открытыми и закрытыми моделями вырос до 12 (ранее — 3).
  2. Обновление опустило Kimi K3.1 Pro с 4-го на 9-е место, снизило оценку Grok 4.7 на 12 баллов; для нового индекса были исправлены неоднозначные вопросы в тесте AA-Omniscience.
  3. Изменение методики бенчмарка (больше закрытых тестов) существенно влияет на ранжирование моделей и показывает, что прежние публичные тесты могли завышать оценки некоторых открытых моделей.

ПОЧЕМУ ЭТО ВАЖНО

Изменение методики бенчмарка (больше закрытых тестов) существенно влияет на ранжирование моделей и показывает, что прежние публичные тесты могли завышать оценки некоторых открытых моделей.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1
01
THE DECODER НЕЗАВИСИМОЕ МЕДИА
New Artificial Analysis index widens the gap between open and closed models

Artificial Analysis overhauled its Intelligence Index, causing Kimi K3.1 Pro to drop five spots in the rankings. The model originally launched in fourth place , but it falls to ninth behind eight closed models in version 5 . Artificial Analysis now puts the gap between open models and the top of the leaderboard at 12 points, up from 3 points previously. For the first time, 60 percent of the index relies on private t…

↗