Пределы уверенности в диффузионных моделях
Статья изучает дискретные диффузионные сэмплеры (включая remasking и uniform-state) и доказывает, что шаг диффузии совпадает с тренировочным распределением только тогда, когда записываемые позиции условно независимы при заданных уже фиксированных токенах. Авторы показывают, что произведение пер-позиционных маргиналей не может описать зависимые группы, что одинаковые пер-позиционные маргинали могут скрывать разные совместные зависимости, и подтверждают это на синтетической задаче ScanAndAdd, где группы из двух и более незафиксированных позиций зависимы, а сгенерированное распределение имеет отклонение в total variation в 29× выше «шумового» минимума при пер-сэмпловых метриках 1.0.