Три-модальные Masked Diffusion Models дообучены с нуля: SDE-пере parametrизация и демонстрация 3B
В работе представлен первый три-модальный Masked Diffusion Model (MDM), предобученный с нуля на текстовых, изображенно-текстовых и аудио-текстовых данных; проведено масштабное исследование законов масштабирования, соотношений модальностей, расписаний шума и эффектов размера батча, а также предложена SDE-пере параметризация, разделяющая физический и логический размеры батча. Авторы демонстрируют предварительную унифицированную модель примерно в 3 млрд параметров (обученную на ~6.4 трлн токенов) с сильными результатами в генерации текста, T2I и T2S задачах.