Representation Geometry Regularization (RGR) снижает деградацию возможностей при самоулучшении LLM
Статья (arXiv:2610.12855v1) описывает проблему в On-Policy Self-distillation (OPSD): по мере обучения модели могут терять ранее усвоенные способности из‑за ухудшения геометрии скрытых представлений (меньшая компактность кластеров и разделение между ними). Авторы предлагают Representation Geometry Regularization (RGR) — регуляризатор для пост‑тренировки, сохраняющий геометрию представлений; эксперименты на нескольких OPSD‑методах показывают, что RGR обычно уменьшает деградацию возможностей при сохранении общих улучшений, код опубликован на GitHub.