Как построить современную диффузионную языковую модель (arXiv:2610.33391v1)
Новый препринт на arXiv представляет обзор подходов дискретной диффузии для языковых моделей, описывая основы, алгоритмические и архитектурные компоненты, а также приложения в биологии и обработке языка. В работе отмечается, что дискретная диффузия позволяет генерировать токены параллельно (что дает более быстрое инференс), поддерживает исправление ошибок и управляемую генерацию, и обсуждаются последствия для законов масштабирования LLM.