ИССЛЕДОВАНИЕ · RESEARCH · #3031
Collinear AI публикует CWE-bench v2: 100 открытых заданий для оценки кибер‑защиты LLM
Collinear AI выпустила CWE-bench v2 — публичный набор из 100 детерминированных задач Harbor (Docker‑окружения и верификаторы), охватывающих 91 CWE, для оценки и обучения моделей по поиску и исправлению уязвимостей; набор данных, грейдер и harness доступны на Hugging Face, а доступ к отложенному набору можно получить по запросу (cyber@collinear.ai). В лиде таблицы — Gemini 4 Argon (67.8% pass@1, 81.0% pass@4), немного опережая Claude Opus 5.5, при этом приводятся данные о соотношении стоимости и качества для DeepSeek V4.1 Flash, Opus и Gemini.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Collinear AI выпустила CWE-bench v2 — публичный набор из 100 детерминированных задач Harbor (Docker‑окружения и верификаторы), охватывающих 91 CWE, для оценки и обучения моделей по поиску и исправлению уязвимостей; набор данных, грейдер и harness доступны на Hugging Face, а доступ к отложенному набору можно получить по запросу (cyber@collinear.ai).
- В лиде таблицы — Gemini 4 Argon (67.8% pass@1, 81.0% pass@4), немного опережая Claude Opus 5.5, при этом приводятся данные о соотношении стоимости и качества для DeepSeek V4.1 Flash, Opus и Gemini.
- Открытый воспроизводимый бенчмарк по множеству CWE позволяет исследователям и вендорам сравнивать и обучать LLM на реалистичных задачах по исправлению уязвимостей и оценивать соотношение стоимости и качества.
ПОЧЕМУ ЭТО ВАЖНО
Открытый воспроизводимый бенчмарк по множеству CWE позволяет исследователям и вендорам сравнивать и обучать LLM на реалистичных задачах по исправлению уязвимостей и оценивать соотношение стоимости и качества.