ИССЛЕДОВАНИЕ · RESEARCH · #2546
DELA: управляемые правки черновиков для диффузионных языковых моделей (arXiv:2610.32096v1)
В работе представлен DELA (Diffusion Editing Language Adapter) — подключаемый контроллер, который обеспечивает явные правки черновиков в замороженных диффузионных языковых моделях с помощью четырёх действий (Insert, Delete, Remask, Stop). DELA использует двухфазную декодировку — быстрый добавочный этап с повторным использованием KV-cache и фазу глобальной доработки — и поэтапную учебную программу для обучения контроллера; в экспериментах по математическому рассуждению и генерации кода сообщается до 5,5 процентных пунктов выигрыша по сравнению с прямым диффузионным декодированием.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе представлен DELA (Diffusion Editing Language Adapter) — подключаемый контроллер, который обеспечивает явные правки черновиков в замороженных диффузионных языковых моделях с помощью четырёх действий (Insert, Delete, Remask, Stop).
- DELA использует двухфазную декодировку — быстрый добавочный этап с повторным использованием KV-cache и фазу глобальной доработки — и поэтапную учебную программу для обучения контроллера; в экспериментах по математическому рассуждению и генерации кода сообщается до 5,5 процентных пунктов выигрыша по сравнению с прямым диффузионным декодированием.
- DELA отделяет управление правками на уровне черновика от покадрового денойзинга и позволяет эффективные целевые немонотонные правки в DLM при сохранённой замороженной базе, что повышает управляемость и эффективность для задач генерации кода и математических рассуждений.
ПОЧЕМУ ЭТО ВАЖНО
DELA отделяет управление правками на уровне черновика от покадрового денойзинга и позволяет эффективные целевые немонотонные правки в DLM при сохранённой замороженной базе, что повышает управляемость и эффективность для задач генерации кода и математических рассуждений.