НОВОСТЬ · RESEARCH · #371
CRN v2: корректор на уровне логитов исправляет ошибки в замороженной Gemma 4 E2B без потери возможностей
Авторы предлагают CRN v2 — корректор на уровне логитов (~34M параметров), который ставится поверх полностью замороженной Gemma 4 E2B (4.65B). Обученный через supervised SFT и reference-free DPO на 83 400 парах «ошибка—исправление», CRN v2 исправляет 53,3% ошибок базовой модели на 60‑вопросном экзамене CEHRI (43,3% для переформулированной версии) и при этом не ухудшает результаты на тестах способностей (MMLU/BoolQ); опубликованы код, веса основных результатов и скрипты оценки (вариант deep — только код).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы предлагают CRN v2 — корректор на уровне логитов (~34M параметров), который ставится поверх полностью замороженной Gemma 4 E2B (4.65B).
- Обученный через supervised SFT и reference-free DPO на 83 400 парах «ошибка—исправление», CRN v2 исправляет 53,3% ошибок базовой модели на 60‑вопросном экзамене CEHRI (43,3% для переформулированной версии) и при этом не ухудшает результаты на тестах способностей (MMLU/BoolQ); опубликованы код, веса основных результатов и скрипты оценки (вариант deep — только код).
- Показывает практичную схему (замороженная база + коррекция логитов + KL‑якорение), позволяющую снизить ошибки без дообучения базовой модели — важно для безопасного сопровождения и точечных исправлений развёрнутых языковых моделей.
ПОЧЕМУ ЭТО ВАЖНО
Показывает практичную схему (замороженная база + коррекция логитов + KL‑якорение), позволяющую снизить ошибки без дообучения базовой модели — важно для безопасного сопровождения и точечных исправлений развёрнутых языковых моделей.