ИНВЕСТИЦИИ · MODELS · #1800
Google выпустила Android Bench 2.0 с долгосрочными задачами, агентной оценкой и непрерывным скорингом
Google выпустила Android Bench 2.0 — крупное обновление бенчмарка для оценки моделей ИИ в задачах разработки Android, добавив долгосрочные задачи (LHT), агентную оценку (агенты от провайдеров) и непрерывную шкалу оценки вместо двоичного проход/провал. В обновлённой панели указаны последние модели (например, Gemini 3.8/3.7, OpenAI GPT‑6, Anthropic Fable 5.1, Kimi K3, Qwen 3.8 Max); по состоянию на публикацию лидерство в LHT имеет Claude Opus 5.5 (32%), за ним GPT 6 Astra (28%).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Google выпустила Android Bench 2.0 — крупное обновление бенчмарка для оценки моделей ИИ в задачах разработки Android, добавив долгосрочные задачи (LHT), агентную оценку (агенты от провайдеров) и непрерывную шкалу оценки вместо двоичного проход/провал.
- В обновлённой панели указаны последние модели (например, Gemini 3.8/3.7, OpenAI GPT‑6, Anthropic Fable 5.1, Kimi K3, Qwen 3.8 Max); по состоянию на публикацию лидерство в LHT имеет Claude Opus 5.5 (32%), за ним GPT 6 Astra (28%).
- Android Bench 2.0 даёт более детальную и реалистичную оценку работы моделей в сложных многошаговых задачах разработки и показывает, где современные модели сильны или испытывают трудности.
ПОЧЕМУ ЭТО ВАЖНО
Android Bench 2.0 даёт более детальную и реалистичную оценку работы моделей в сложных многошаговых задачах разработки и показывает, где современные модели сильны или испытывают трудности.