ИССЛЕДОВАНИЕ · RESEARCH · #3153
SemiAnalysis представила бенчмарк GDPx — лучший агент набрал лишь 12%
Аналитическая компания SemiAnalysis представила GDPx — бенчмарк из 206 задач, моделирующих многочасовую офисную работу в профессиональном ПО; лидирует Claude Opus 5.5 с 12%, за ним Gemini 4 Carbon (10,9%) и GPT-6 Astra (9,6%). Критики указывают на секретность задач, влияние фильтров безопасности провайдеров и неравные условия из‑за фирменных средств запуска агентов.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Аналитическая компания SemiAnalysis представила GDPx — бенчмарк из 206 задач, моделирующих многочасовую офисную работу в профессиональном ПО; лидирует Claude Opus 5.5 с 12%, за ним Gemini 4 Carbon (10,9%) и GPT-6 Astra (9,6%).
- Критики указывают на секретность задач, влияние фильтров безопасности провайдеров и неравные условия из‑за фирменных средств запуска агентов.
- GDPx пытается оценить работу агентов в реалистичных рабочих сценариях с профессиональным ПО, демонстрирует слабые результаты текущих моделей и вызывает споры о корректности методики и сопоставимости результатов.
ПОЧЕМУ ЭТО ВАЖНО
GDPx пытается оценить работу агентов в реалистичных рабочих сценариях с профессиональным ПО, демонстрирует слабые результаты текущих моделей и вызывает споры о корректности методики и сопоставимости результатов.