TS-DFM: направленная энергией дистилляция сокращает дискретный flow-matching до 8 шагов с лучшей перплексией
Trajectory-Shaped Discrete Flow Matching (TS-DFM) заменяет слепые стохастические промежуточные прыжки, используемые при построении траекторий для дистилляции, лёгким «энергетическим компасом», выбирающим более связные продолжения. На языковой модели с 170 млн параметров студент TS-DFM с 8 шагами генерации достигает на 32% лучшей перплексии по сравнению с учителем в 1 024 шага и работает в 128 раз быстрее; улучшения наблюдаются на разных наборах данных и оценщиках, а дополнительная навигация применяется только при обучении.