ИССЛЕДОВАНИЕ · RESEARCH · #3206
FlexFloor: Эластичный параллелизм экспертов для ускорения RL пост‑тренировки больших языковых моделей
Препринт на arXiv (arXiv:2611.06984v1) представляет FlexFloor — систему, которая сокращает простаивание вычислительных рабочих при синхронной генерации ответов в RL-пост‑тренировке больших языковых моделей за счёт адаптивного планирования и поэтапного освобождения рабочих при сохранении доступности экспертов. Авторы сообщают ~65.40% больше токенов на единицу занятого времени и ~52.74% рост пропускной способности по сравнению с verl baseline при незначительных изменениях вознаграждения в роллаутах.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Препринт на arXiv (arXiv:2611.06984v1) представляет FlexFloor — систему, которая сокращает простаивание вычислительных рабочих при синхронной генерации ответов в RL-пост‑тренировке больших языковых моделей за счёт адаптивного планирования и поэтапного освобождения рабочих при сохранении доступности экспертов.
- Авторы сообщают ~65.40% больше токенов на единицу занятого времени и ~52.74% рост пропускной способности по сравнению с verl baseline при незначительных изменениях вознаграждения в роллаутах.
- Повышение эффективности использования ресурсов при RL-пост‑тренировке снижает затраты на вычисления и ускоряет итеративную разработку больших языковых моделей, облегчая масштабируемую донастройку.
ПОЧЕМУ ЭТО ВАЖНО
Повышение эффективности использования ресурсов при RL-пост‑тренировке снижает затраты на вычисления и ускоряет итеративную разработку больших языковых моделей, облегчая масштабируемую донастройку.