ИССЛЕДОВАНИЕ · RESEARCH · #2028
Correction Training для моделей диффузии (arXiv:2610.14136v2)
В работе предложен обучаемый «корректор», который обучается на предсказаниях базового денойзера, чтобы сократить разрыв между обучением и выводом, вызванный exposure bias при итеративной выборке диффузионных моделей. Корректор итеративно уточняет предсказание на каждом шаге денойзинга; при оценке на DiT, SiT и JiT метод значительно улучшает FID для негайдированной и безусловной генерации, даёт сопоставимые с CFG результаты, может сочетаться с CFG для увеличения разнообразия и позволяет устранить дополнительную стоимость вывода посредством дистилляции обратно в базовую модель.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе предложен обучаемый «корректор», который обучается на предсказаниях базового денойзера, чтобы сократить разрыв между обучением и выводом, вызванный exposure bias при итеративной выборке диффузионных моделей.
- Корректор итеративно уточняет предсказание на каждом шаге денойзинга; при оценке на DiT, SiT и JiT метод значительно улучшает FID для негайдированной и безусловной генерации, даёт сопоставимые с CFG результаты, может сочетаться с CFG для увеличения разнообразия и позволяет устранить дополнительную стоимость вывода посредством дистилляции обратно в базовую модель.
- Метод борется с exposure bias в диффузионной выборке и даёт практический рост качества (с возможностью дистилляции для устранения дополнительной стоимости вывода) для негайдированной/безусловной генерации.
ПОЧЕМУ ЭТО ВАЖНО
Метод борется с exposure bias в диффузионной выборке и даёт практический рост качества (с возможностью дистилляции для устранения дополнительной стоимости вывода) для негайдированной/безусловной генерации.