ИССЛЕДОВАНИЕ · RESEARCH · #1464
Пределы уверенности в диффузионных моделях
Статья изучает дискретные диффузионные сэмплеры (включая remasking и uniform-state) и доказывает, что шаг диффузии совпадает с тренировочным распределением только тогда, когда записываемые позиции условно независимы при заданных уже фиксированных токенах. Авторы показывают, что произведение пер-позиционных маргиналей не может описать зависимые группы, что одинаковые пер-позиционные маргинали могут скрывать разные совместные зависимости, и подтверждают это на синтетической задаче ScanAndAdd, где группы из двух и более незафиксированных позиций зависимы, а сгенерированное распределение имеет отклонение в total variation в 29× выше «шумового» минимума при пер-сэмпловых метриках 1.0.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья изучает дискретные диффузионные сэмплеры (включая remasking и uniform-state) и доказывает, что шаг диффузии совпадает с тренировочным распределением только тогда, когда записываемые позиции условно независимы при заданных уже фиксированных токенах.
- Авторы показывают, что произведение пер-позиционных маргиналей не может описать зависимые группы, что одинаковые пер-позиционные маргинали могут скрывать разные совместные зависимости, и подтверждают это на синтетической задаче ScanAndAdd, где группы из двух и более незафиксированных позиций зависимы, а сгенерированное распределение имеет отклонение в total variation в 29× выше «шумового» минимума при пер-сэмпловых метриках 1.0.
- Это важно, потому что многие методы дискретной диффузии и выборки по уверенности опираются на пер-позиционные маргинали, которые могут не отражать совместные зависимости и приводить к значительному расхождению с тренировочным распределением.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, потому что многие методы дискретной диффузии и выборки по уверенности опираются на пер-позиционные маргинали, которые могут не отражать совместные зависимости и приводить к значительному расхождению с тренировочным распределением.