ИССЛЕДОВАНИЕ · RESEARCH · #1630
SPECTRUM: проксимальная спектральная модуляция улучшает сохранение разнообразия при циклической самодистилляции для генерации кода
В статье представлен подход Looped Self-Distillation, при котором модель многократно генерирует и обучается на собственных выводах при фиксированном информационном бюджете, а также метод SPECTRUM — переоценка чувствительной к потере геометрии ключ/значение с последующей полноранговой проксимальной спектральной модуляцией. В экспериментах на MBPP SPECTRUM сохранил 89,9% богатства корректных AST из 64 образцов после пяти раундов (против 66,4% у обычной самодистилляции), и эффект разнообразия перенёсся на HumanEval+ и APPS Intro без дополнительной калибровки.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье представлен подход Looped Self-Distillation, при котором модель многократно генерирует и обучается на собственных выводах при фиксированном информационном бюджете, а также метод SPECTRUM — переоценка чувствительной к потере геометрии ключ/значение с последующей полноранговой проксимальной спектральной модуляцией.
- В экспериментах на MBPP SPECTRUM сохранил 89,9% богатства корректных AST из 64 образцов после пяти раундов (против 66,4% у обычной самодистилляции), и эффект разнообразия перенёсся на HumanEval+ и APPS Intro без дополнительной калибровки.
- Показывает, что спектральное вмешательство во время генерации может сохранять набор корректных решений модели в процессе рекурсивного самосовершенствования, вводя «сохранение корректных решений» как дополнительную цель обучения.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что спектральное вмешательство во время генерации может сохранять набор корректных решений модели в процессе рекурсивного самосовершенствования, вводя «сохранение корректных решений» как дополнительную цель обучения.