ИССЛЕДОВАНИЕ · RESEARCH · #1408
Статья (arXiv:2610.00234v1): порядок данных и график lr решают, к какой конвенции привяжется модель
В работе доказывается и экспериментально показывается, что при обучении модели на одних и тех же задачах, записанных в двух несовместимых, но корректных конвенциях, порядок данных и график обучения lr входят в эффект выбора конвенции в виде перемножающихся факторов. На десяти вариантах порядка и наборах планов lr (константный, убывающий, косинусный) авторы фиксируют сильные сдвиги распределения (доля распределения 0.04–0.87) и переключение конвенции на уровне 12.29σ, при этом конвенция-нейтральная метрика сохраняет суммарную точность примерно в пределах 9.7%; явная маркировка конвенции в промпте сильно уменьшает переключение и восстанавливает большую часть объединённой производительности.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе доказывается и экспериментально показывается, что при обучении модели на одних и тех же задачах, записанных в двух несовместимых, но корректных конвенциях, порядок данных и график обучения lr входят в эффект выбора конвенции в виде перемножающихся факторов.
- На десяти вариантах порядка и наборах планов lr (константный, убывающий, косинусный) авторы фиксируют сильные сдвиги распределения (доля распределения 0.04–0.87) и переключение конвенции на уровне 12.29σ, при этом конвенция-нейтральная метрика сохраняет суммарную точность примерно в пределах 9.7%; явная маркировка конвенции в промпте сильно уменьшает переключение и восстанавливает большую часть объединённой производительности.
- Важно потому, что порядок данных и выбор графика lr могут заставить модель «привязаться» к одной из корректных конвенций без изменения агрегированной способности по конвенция-нейтральным метрикам, что влияет на проектирование предобучения и интерпретацию бенчмарков; маркировка в промпте — эффективная мера смягчения.
ПОЧЕМУ ЭТО ВАЖНО
Важно потому, что порядок данных и выбор графика lr могут заставить модель «привязаться» к одной из корректных конвенций без изменения агрегированной способности по конвенция-нейтральным метрикам, что влияет на проектирование предобучения и интерпретацию бенчмарков; маркировка в промпте — эффективная мера смягчения.