SPECTRUM: проксимальная спектральная модуляция улучшает сохранение разнообразия при циклической самодистилляции для генерации кода
В статье представлен подход Looped Self-Distillation, при котором модель многократно генерирует и обучается на собственных выводах при фиксированном информационном бюджете, а также метод SPECTRUM — переоценка чувствительной к потере геометрии ключ/значение с последующей полноранговой проксимальной спектральной модуляцией. В экспериментах на MBPP SPECTRUM сохранил 89,9% богатства корректных AST из 64 образцов после пяти раундов (против 66,4% у обычной самодистилляции), и эффект разнообразия перенёсся на HumanEval+ и APPS Intro без дополнительной калибровки.