ИССЛЕДОВАНИЕ · RESEARCH · #1334
GoldiMask: выбор контекста и взвешивание целей для донастройки диффузионных языковых моделей
В работе arXiv:2609.38385v1 представлен GoldiMask — метод донастройки дискретных диффузионных языковых моделей, который выбирает раскрываемые токены контекста с помощью приближённой субмодулярной оптимизации и взвешивает оставшиеся целевые токены по их пользе и обучаемости. По трём бэкбонам и трём наборам данных авторы демонстрируют более высокую среднюю точность в большинстве настроек (включая задачи рассуждения и генерации кода) и сокращение числа итераций декодирования на GSM8K и MATH-500 при confidence-threshold параллельном декодировании; абляции показывают вклад обеих компонент.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе arXiv:2609.38385v1 представлен GoldiMask — метод донастройки дискретных диффузионных языковых моделей, который выбирает раскрываемые токены контекста с помощью приближённой субмодулярной оптимизации и взвешивает оставшиеся целевые токены по их пользе и обучаемости.
- По трём бэкбонам и трём наборам данных авторы демонстрируют более высокую среднюю точность в большинстве настроек (включая задачи рассуждения и генерации кода) и сокращение числа итераций декодирования на GSM8K и MATH-500 при confidence-threshold параллельном декодировании; абляции показывают вклад обеих компонент.
- Оптимизация выбора раскрываемых токенов и взвешивания целей может повысить точность и эффективность декодирования при донастройке диффузионных языковых моделей, влияя на качество задач рассуждения и генерации кода.
ПОЧЕМУ ЭТО ВАЖНО
Оптимизация выбора раскрываемых токенов и взвешивания целей может повысить точность и эффективность декодирования при донастройке диффузионных языковых моделей, влияя на качество задач рассуждения и генерации кода.