GoldiMask: выбор контекста и взвешивание целей для донастройки диффузионных языковых моделей
В работе arXiv:2609.38385v1 представлен GoldiMask — метод донастройки дискретных диффузионных языковых моделей, который выбирает раскрываемые токены контекста с помощью приближённой субмодулярной оптимизации и взвешивает оставшиеся целевые токены по их пользе и обучаемости. По трём бэкбонам и трём наборам данных авторы демонстрируют более высокую среднюю точность в большинстве настроек (включая задачи рассуждения и генерации кода) и сокращение числа итераций декодирования на GSM8K и MATH-500 при confidence-threshold параллельном декодировании; абляции показывают вклад обеих компонент.