Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #7526

diffusion language models

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

GoldiMask: выбор контекста и взвешивание целей для донастройки диффузионных языковых моделей

В работе arXiv:2609.38385v1 представлен GoldiMask — метод донастройки дискретных диффузионных языковых моделей, который выбирает раскрываемые токены контекста с помощью приближённой субмодулярной оптимизации и взвешивает оставшиеся целевые токены по их пользе и обучаемости. По трём бэкбонам и трём наборам данных авторы демонстрируют более высокую среднюю точность в большинстве настроек (включая задачи рассуждения и генерации кода) и сокращение числа итераций декодирования на GSM8K и MATH-500 при confidence-threshold параллельном декодировании; абляции показывают вклад обеих компонент.

7.0

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

Probe guidance: метод управления диффузионными языковыми моделями

В статье предложен probe guidance — метод, который использует замороженные внутренние состояния существующей диффузионной модели для формирования сигнала управления без дополнительного прямого прохода при инференсе. Применённый к непрерывным диффузионным языковым моделям, метод, по сообщению авторов, устанавливает новое состояние‑дела для безусловной генерации и улучшает результаты многовариантных тестов на модели 1.7B; также проведён анализ условий, при которых работает традиционная autoguidance.

7.0