ИССЛЕДОВАНИЕ · RESEARCH · #644
TS-DFM: направленная энергией дистилляция сокращает дискретный flow-matching до 8 шагов с лучшей перплексией
Trajectory-Shaped Discrete Flow Matching (TS-DFM) заменяет слепые стохастические промежуточные прыжки, используемые при построении траекторий для дистилляции, лёгким «энергетическим компасом», выбирающим более связные продолжения. На языковой модели с 170 млн параметров студент TS-DFM с 8 шагами генерации достигает на 32% лучшей перплексии по сравнению с учителем в 1 024 шага и работает в 128 раз быстрее; улучшения наблюдаются на разных наборах данных и оценщиках, а дополнительная навигация применяется только при обучении.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Trajectory-Shaped Discrete Flow Matching (TS-DFM) заменяет слепые стохастические промежуточные прыжки, используемые при построении траекторий для дистилляции, лёгким «энергетическим компасом», выбирающим более связные продолжения.
- На языковой модели с 170 млн параметров студент TS-DFM с 8 шагами генерации достигает на 32% лучшей перплексии по сравнению с учителем в 1 024 шага и работает в 128 раз быстрее; улучшения наблюдаются на разных наборах данных и оценщиках, а дополнительная навигация применяется только при обучении.
- Формирование траекторий дистилляции с помощью дешёвого оценщика позволяет TS-DFM получить более качественную и значительно более быструю генерацию в несколько шагов, решая важное ограничение параллельной неавторегрессивной генерации текста.
ПОЧЕМУ ЭТО ВАЖНО
Формирование траекторий дистилляции с помощью дешёвого оценщика позволяет TS-DFM получить более качественную и значительно более быструю генерацию в несколько шагов, решая важное ограничение параллельной неавторегрессивной генерации текста.