ИССЛЕДОВАНИЕ · RESEARCH · #1253
COFFEE: управление дискретной диффузией с учётом будущего (arXiv:2609.35924v1)
В работе представлен COFFEE — плагин-ориентированная рамка для управления дискретными диффузионными моделями на этапе вывода с учётом целей на уровне последовательности без перебора всех дополнений. Метод объединяет «безцелевой носитель», аккумулирующий предсказанные маргинальные распределения токенов, и скомпилированную конечную автоматную модель, кодирующую влияние комбинаций токенов на цель; поддерживаются жёсткие ограничения и обучаемые мягкие цели, а в экспериментах отмечены сильные результаты по контролю с компромиссами между качеством и разнообразием.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе представлен COFFEE — плагин-ориентированная рамка для управления дискретными диффузионными моделями на этапе вывода с учётом целей на уровне последовательности без перебора всех дополнений.
- Метод объединяет «безцелевой носитель», аккумулирующий предсказанные маргинальные распределения токенов, и скомпилированную конечную автоматную модель, кодирующую влияние комбинаций токенов на цель; поддерживаются жёсткие ограничения и обучаемые мягкие цели, а в экспериментах отмечены сильные результаты по контролю с компромиссами между качеством и разнообразием.
- Это важно, поскольку COFFEE даёт эффективный способ учитывать цели на уровне последовательности и накладывать ограничения на уже обученные дискретные диффузионные генераторы на этапе вывода, без дообучения.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, поскольку COFFEE даёт эффективный способ учитывать цели на уровне последовательности и накладывать ограничения на уже обученные дискретные диффузионные генераторы на этапе вывода, без дообучения.
ИСТОЧНИКИ И ХРОНОЛОГИЯ
1arXiv:2609.35924v1 Announce Type: new Abstract: Discrete diffusion models generate sequences by iteratively resolving multiple tokens in parallel, offering a flexible alternative to left-to-right generation. However, guiding this process with a sequence-level objective is difficult because the value of one unresolved token depends on the other tokens with which it can form a high-reward sequence. Enumerating all such…
arXiv:2609.38448v1 Announce Type: new Abstract: Open-ended LLM homogeneity can create false plurality when several systems appear to offer independent perspectives while returning the same familiar default. Single-pass answers obscure the distinction between agreement produced by a tightly constrained answer space, prompt-vocabulary echo, and broader answer spaces with stable alternatives beneath the surface. We intr…