ИССЛЕДОВАНИЕ · RESEARCH · #1847
Seq-Drifting: одноступенная генерация текста через дрейф токенов (arXiv:2610.12879v1)
В работе предложен Seq-Drifting — подход, который обучает прямое отображение из гауссовского шума в полные последовательности токенов за один проход, создавая покомпонентное поле дрейфа с притяжением (к контекстно-правдоподобным представлениям токенов) и отталкиванием (чтобы избежать коллапса выборок и повторов). Метод показывает перплексию 36.01 на LM1B в один шаг, даёт конкурентные результаты в условной и безусловной генерации и проверен на задачах перевода, суммаризации и рассуждения; код опубликован на GitHub.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе предложен Seq-Drifting — подход, который обучает прямое отображение из гауссовского шума в полные последовательности токенов за один проход, создавая покомпонентное поле дрейфа с притяжением (к контекстно-правдоподобным представлениям токенов) и отталкиванием (чтобы избежать коллапса выборок и повторов).
- Метод показывает перплексию 36.01 на LM1B в один шаг, даёт конкурентные результаты в условной и безусловной генерации и проверен на задачах перевода, суммаризации и рассуждения; код опубликован на GitHub.
- Одноступенная генерация, создающая полные последовательности за один проход, может значительно снизить задержку выборки и указать на новый класс эффективных генеративных языковых моделей, если результаты подтвердятся.
ПОЧЕМУ ЭТО ВАЖНО
Одноступенная генерация, создающая полные последовательности за один проход, может значительно снизить задержку выборки и указать на новый класс эффективных генеративных языковых моделей, если результаты подтвердятся.