Tech Meridian ← К ЛЕНТЕ
EN

НОВОСТЬ · MODELS · #91

Плотные (Dense) vs MoE-модели: активные параметры, пропускная способность и когда выбирать каждую

Публикация NVIDIA Developer сравнивает плотные и MoE-архитектуры, демонстрируя, как 30-миллиардная модель может активировать лишь около 3 млрд параметров на токен, и обсуждает связанные компромиссы между ёмкостью и пропускной способностью; в качестве примера используется Nemotron 3.5 Lightning.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Публикация NVIDIA Developer сравнивает плотные и MoE-архитектуры, демонстрируя, как 30-миллиардная модель может активировать лишь около 3 млрд параметров на токен, и обсуждает связанные компромиссы между ёмкостью и пропускной способностью; в качестве примера используется Nemotron 3.5 Lightning.
  2. Выбор между плотной и MoE-архитектурой влияет на ёмкость модели, вычислительную эффективность и пропускную способность при выводе, поэтому практические пояснения и примеры помогают принять решение.
  3. Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose Each

ПОЧЕМУ ЭТО ВАЖНО

Выбор между плотной и MoE-архитектурой влияет на ёмкость модели, вычислительную эффективность и пропускную способность при выводе, поэтому практические пояснения и примеры помогают принять решение.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1
01
NVIDIA DEVELOPER ПЕРВОИСТОЧНИК
Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose Each

Nemotron 3.5 Lightning uses a Mixture-of-Experts architecture that activates only 3B of its 30B total parameters per token. MoE models decouple memory cost from compute cost by loading all experts into VRAM while activating only a subset per token, unlike dense models where both scale together. At equal total parameter counts, MoE models such as Nemotron 3.5 Lightning achieve higher token throughput than dense mode…

↗