ИССЛЕДОВАНИЕ · RESEARCH · #2108
VISTA: выбор шагов руководства по значимости для разреженного SMC в дискретном диффузионном моделировании (arXiv:2610.20669v1)
В работе представлен VISTA — метод без дополнительного обучения, который выбирает подмножество временных шагов для применения Sequential Monte Carlo (SMC) guidance в reward‑ориентированном дискретном диффузионном моделировании при фиксированном бюджете вычислений. VISTA собирает статистику значений из небольшой серии генераций с полным руководством, строит приближённую функцию потерь и оптимизирует её динамическим программированием, получая адаптивные расписания, которые во многих задачах близки по качеству к полному руководству при заметно меньшей задержке на генерацию (например, токсичный текст: уникально-токсичный коэффициент 0.99 против 1.00 и сокращение задержки с 204.23 с до 38.16 с, 5.35× ускорение).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе представлен VISTA — метод без дополнительного обучения, который выбирает подмножество временных шагов для применения Sequential Monte Carlo (SMC) guidance в reward‑ориентированном дискретном диффузионном моделировании при фиксированном бюджете вычислений.
- VISTA собирает статистику значений из небольшой серии генераций с полным руководством, строит приближённую функцию потерь и оптимизирует её динамическим программированием, получая адаптивные расписания, которые во многих задачах близки по качеству к полному руководству при заметно меньшей задержке на генерацию (например, токсичный текст: уникально-токсичный коэффициент 0.99 против 1.00 и сокращение задержки с 204.23 с до 38.16 с, 5.35× ускорение).
- Оптимизируя выбор шагов руководства, VISTA существенно снижает вычислительную нагрузку SMC guidance при сохранении качества выравнивания, что делает reward‑ориентированную дискретную диффузию более практичной для разных модальностей.
ПОЧЕМУ ЭТО ВАЖНО
Оптимизируя выбор шагов руководства, VISTA существенно снижает вычислительную нагрузку SMC guidance при сохранении качества выравнивания, что делает reward‑ориентированную дискретную диффузию более практичной для разных модальностей.