Tech Meridian ← К ЛЕНТЕ
EN

ГАЙД · RESEARCH · #282

IDEA Prune: Интегрированная схема «увеличить-и-обрезать» при предварительном обучении генеративных языковых моделей

В статье предлагается включать предварительное обучение увеличенных моделей в пайплайны структурной обрезки и рассматривать процесс «увеличить-и-обрезать» как единую систему. Авторам важно выяснить, стоит ли предобучать большую модель, если она никогда не будет развернута, и как оптимизировать пайплайн для эффективности по токенам.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В статье предлагается включать предварительное обучение увеличенных моделей в пайплайны структурной обрезки и рассматривать процесс «увеличить-и-обрезать» как единую систему.
  2. Авторам важно выяснить, стоит ли предобучать большую модель, если она никогда не будет развернута, и как оптимизировать пайплайн для эффективности по токенам.
  3. Понимание и оптимизация интегрированной схемы «увеличить-и-обрезать» могут повлиять на экономическую эффективность и возможность развертывания крупных языковых моделей при ограниченных ресурсах вывода.

ПОЧЕМУ ЭТО ВАЖНО

Понимание и оптимизация интегрированной схемы «увеличить-и-обрезать» могут повлиять на экономическую эффективность и возможность развертывания крупных языковых моделей при ограниченных ресурсах вывода.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1
01
APPLE MACHINE LEARNING RESEARCH ИССЛЕДОВАНИЕ
IDEA Prune: An Integrated Enlarge-and-Prune Pipeline in Generative Language Model Pretraining

Recent advancements in large language models have intensified the need for efficient and deployable models within limited inference budgets. Structured pruning pipelines have shown promise in token efficiency compared to training target-size models from scratch. In this paper, we advocate incorporating enlarged model pretraining, which is often ignored in previous works, into pruning. We study the enlarge-and-prune p…

↗