ИССЛЕДОВАНИЕ · RESEARCH · #1973
Три-модальные Masked Diffusion Models дообучены с нуля: SDE-пере parametrизация и демонстрация 3B
В работе представлен первый три-модальный Masked Diffusion Model (MDM), предобученный с нуля на текстовых, изображенно-текстовых и аудио-текстовых данных; проведено масштабное исследование законов масштабирования, соотношений модальностей, расписаний шума и эффектов размера батча, а также предложена SDE-пере параметризация, разделяющая физический и логический размеры батча. Авторы демонстрируют предварительную унифицированную модель примерно в 3 млрд параметров (обученную на ~6.4 трлн токенов) с сильными результатами в генерации текста, T2I и T2S задачах.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе представлен первый три-модальный Masked Diffusion Model (MDM), предобученный с нуля на текстовых, изображенно-текстовых и аудио-текстовых данных; проведено масштабное исследование законов масштабирования, соотношений модальностей, расписаний шума и эффектов размера батча, а также предложена SDE-пере параметризация, разделяющая физический и логический размеры батча.
- Авторы демонстрируют предварительную унифицированную модель примерно в 3 млрд параметров (обученную на ~6.4 трлн токенов) с сильными результатами в генерации текста, T2I и T2S задачах.
- Работа продвигает мультимодальное дискретное диффузионное моделирование — впервые с нуля показан три-модальный MDM, предложена практичная SDE-пере параметризация для устойчивости к размеру батча и даны эмпирические выводы по масштабированию, полезные для создания унифицированных генераторов текста/изображений/аудио.
ПОЧЕМУ ЭТО ВАЖНО
Работа продвигает мультимодальное дискретное диффузионное моделирование — впервые с нуля показан три-модальный MDM, предложена практичная SDE-пере параметризация для устойчивости к размеру батча и даны эмпирические выводы по масштабированию, полезные для создания унифицированных генераторов текста/изображений/аудио.