ИССЛЕДОВАНИЕ · RESEARCH · #2025
Модели с открытыми весами сопоставимы с закрытыми на CTI-REALM (arXiv:2610.14180v1)
В статье (arXiv:2610.14180v1) протестированы 26 моделей (19 с открытыми весами, 7 закрытых) на CTI-REALM — бенчмарке, где агент переводит отчёт по угрозам в рабочие детекции, обращаясь к живому телеметрическому хранилищу. Основные выводы: модель с открытыми весами может сравняться с лучшими закрытыми моделями при стоимости менее десятой части их цены при достаточном числе шагов; опубликованный лимит сообщений искажает результаты, а его снятие позволяет открытым моделям занять лидирующие позиции. Авторы предлагают метрики уровня этапа, исполняющие отправленные детекции в хранилище, рекомендуют направлять разные этапы рабочей цепочки к разным моделям и описывают использование токенов, отметив, что доля «размышлений» не коррелирует с наградой.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье (arXiv:2610.14180v1) протестированы 26 моделей (19 с открытыми весами, 7 закрытых) на CTI-REALM — бенчмарке, где агент переводит отчёт по угрозам в рабочие детекции, обращаясь к живому телеметрическому хранилищу.
- Основные выводы: модель с открытыми весами может сравняться с лучшими закрытыми моделями при стоимости менее десятой части их цены при достаточном числе шагов; опубликованный лимит сообщений искажает результаты, а его снятие позволяет открытым моделям занять лидирующие позиции.
- Авторы предлагают метрики уровня этапа, исполняющие отправленные детекции в хранилище, рекомендуют направлять разные этапы рабочей цепочки к разным моделям и описывают использование токенов, отметив, что доля «размышлений» не коррелирует с наградой.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что проверяемые и более дешёвые модели с открытыми весами конкурентоспособны в реалистичной задаче безопасности, выявляет искажение бенчмарка и предлагает практические улучшения (метрики этапов, маршрутизация), влияющие на выбор и оценку моделей.