Модели с открытыми весами сопоставимы с закрытыми на CTI-REALM (arXiv:2610.14180v1)
В статье (arXiv:2610.14180v1) протестированы 26 моделей (19 с открытыми весами, 7 закрытых) на CTI-REALM — бенчмарке, где агент переводит отчёт по угрозам в рабочие детекции, обращаясь к живому телеметрическому хранилищу. Основные выводы: модель с открытыми весами может сравняться с лучшими закрытыми моделями при стоимости менее десятой части их цены при достаточном числе шагов; опубликованный лимит сообщений искажает результаты, а его снятие позволяет открытым моделям занять лидирующие позиции. Авторы предлагают метрики уровня этапа, исполняющие отправленные детекции в хранилище, рекомендуют направлять разные этапы рабочей цепочки к разным моделям и описывают использование токенов, отметив, что доля «размышлений» не коррелирует с наградой.