ИССЛЕДОВАНИЕ · RESEARCH · #1849
Representation Geometry Regularization (RGR) снижает деградацию возможностей при самоулучшении LLM
Статья (arXiv:2610.12855v1) описывает проблему в On-Policy Self-distillation (OPSD): по мере обучения модели могут терять ранее усвоенные способности из‑за ухудшения геометрии скрытых представлений (меньшая компактность кластеров и разделение между ними). Авторы предлагают Representation Geometry Regularization (RGR) — регуляризатор для пост‑тренировки, сохраняющий геометрию представлений; эксперименты на нескольких OPSD‑методах показывают, что RGR обычно уменьшает деградацию возможностей при сохранении общих улучшений, код опубликован на GitHub.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья (arXiv:2610.12855v1) описывает проблему в On-Policy Self-distillation (OPSD): по мере обучения модели могут терять ранее усвоенные способности из‑за ухудшения геометрии скрытых представлений (меньшая компактность кластеров и разделение между ними).
- Авторы предлагают Representation Geometry Regularization (RGR) — регуляризатор для пост‑тренировки, сохраняющий геометрию представлений; эксперименты на нескольких OPSD‑методах показывают, что RGR обычно уменьшает деградацию возможностей при сохранении общих улучшений, код опубликован на GitHub.
- Решает практическую проблему надежности самоулучшения LLM — сохранение геометрии представлений может сделать OPSD‑методы более предсказуемыми при наращивании способностей.
ПОЧЕМУ ЭТО ВАЖНО
Решает практическую проблему надежности самоулучшения LLM — сохранение геометрии представлений может сделать OPSD‑методы более предсказуемыми при наращивании способностей.