Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #5693

diffusion language models (DLMs)

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

3

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

DELA: управляемые правки черновиков для диффузионных языковых моделей (arXiv:2610.32096v1)

В работе представлен DELA (Diffusion Editing Language Adapter) — подключаемый контроллер, который обеспечивает явные правки черновиков в замороженных диффузионных языковых моделях с помощью четырёх действий (Insert, Delete, Remask, Stop). DELA использует двухфазную декодировку — быстрый добавочный этап с повторным использованием KV-cache и фазу глобальной доработки — и поэтапную учебную программу для обучения контроллера; в экспериментах по математическому рассуждению и генерации кода сообщается до 5,5 процентных пунктов выигрыша по сравнению с прямым диффузионным декодированием.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Seq-Drifting: одноступенная генерация текста через дрейф токенов (arXiv:2610.12879v1)

В работе предложен Seq-Drifting — подход, который обучает прямое отображение из гауссовского шума в полные последовательности токенов за один проход, создавая покомпонентное поле дрейфа с притяжением (к контекстно-правдоподобным представлениям токенов) и отталкиванием (чтобы избежать коллапса выборок и повторов). Метод показывает перплексию 36.01 на LM1B в один шаг, даёт конкурентные результаты в условной и безусловной генерации и проверен на задачах перевода, суммаризации и рассуждения; код опубликован на GitHub.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

CaLR: Causal Latent Revision для устойчивого рассуждения с помощью diffusion-моделей (arXiv:2609.20981v1)

Статья на arXiv (2609.20981v1) представляет CaLR (Causal Latent Revision) — подход, который формулирует рассуждение как оптимизацию латентных переменных с ограничениями. CaLR применяет матрицу причинно-следственной топологии от экспертной модели и неявную дифференцировку для градиентного «пересмотра мыслей», усиливая логическую согласованность при параллельной генерации; авторы сообщают о SOTA-результатах для diffusion-языковых моделей на сложных бенчмарках и повышенной робастности в задачах вроде Судоку.

7.0