MobileDiffusion: субсекундная генерация изображений по тексту на устройстве с латентной диффузионной моделью в 520M параметров
MobileDiffusion — это компактная латентная диффузионная модель для генерации изображений по тексту на мобильных устройствах, сочетающая небольшой текстовый энкодер CLIP-ViT/L14 с оптимизированным UNet и декодером. Используя DiffusionGAN для одношаговой семплинга и оптимизируя архитектуру, модель в 520M параметров генерирует изображение 512×512 примерно за полсекунды на протестированных премиальных устройствах iOS и Android.