Probe guidance: метод управления диффузионными языковыми моделями
В статье предложен probe guidance — метод, который использует замороженные внутренние состояния существующей диффузионной модели для формирования сигнала управления без дополнительного прямого прохода при инференсе. Применённый к непрерывным диффузионным языковым моделям, метод, по сообщению авторов, устанавливает новое состояние‑дела для безусловной генерации и улучшает результаты многовариантных тестов на модели 1.7B; также проведён анализ условий, при которых работает традиционная autoguidance.