Плотные (Dense) vs MoE-модели: активные параметры, пропускная способность и когда выбирать каждую
Публикация NVIDIA Developer сравнивает плотные и MoE-архитектуры, демонстрируя, как 30-миллиардная модель может активировать лишь около 3 млрд параметров на токен, и обсуждает связанные компромиссы между ёмкостью и пропускной способностью; в качестве примера используется Nemotron 3.5 Lightning.