НОВОСТЬ · MODELS · #3259
Бенчмарк Vals: открытая Deepseek почти догнала GPT-6 Sol в автономных кибератаках
Бенчмарк Vals CyberOffense имитировал реальные корпоративные сети и запускал автономных агентов с одной публичной веб-страницей; по данным Vals, GPT-6 Sol (программа Daybreak) выполнил 80,8% задач, тогда как открытая Deepseek V4.1 Flash 1017 — 72,8% при значительно меньших затратах, причём для открытых моделей важны длинные прогоны. Эти выводы согласуются с анализом AISI и исследованиями Anthropic; Vals также указывает, что те же модели могут помочь защитникам находить уязвимости.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Бенчмарк Vals CyberOffense имитировал реальные корпоративные сети и запускал автономных агентов с одной публичной веб-страницей; по данным Vals, GPT-6 Sol (программа Daybreak) выполнил 80,8% задач, тогда как открытая Deepseek V4.1 Flash 1017 — 72,8% при значительно меньших затратах, причём для открытых моделей важны длинные прогоны.
- Эти выводы согласуются с анализом AISI и исследованиями Anthropic; Vals также указывает, что те же модели могут помочь защитникам находить уязвимости.
- Показывает, что открытые модели приближаются к закрытым по способности к автономным кибератакам при гораздо меньших расходах, что усиливает риски и открывает возможности для защиты и регулирования.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что открытые модели приближаются к закрытым по способности к автономным кибератакам при гораздо меньших расходах, что усиливает риски и открывает возможности для защиты и регулирования.