Tech Meridian ← К СУЩНОСТЯМ
EN

ТЕМА · ENTITY #176

dense models

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

MODELS · 1 ИСТОЧН. · NVIDIA Developer

Плотные (Dense) vs MoE-модели: активные параметры, пропускная способность и когда выбирать каждую

Публикация NVIDIA Developer сравнивает плотные и MoE-архитектуры, демонстрируя, как 30-миллиардная модель может активировать лишь около 3 млрд параметров на токен, и обсуждает связанные компромиссы между ёмкостью и пропускной способностью; в качестве примера используется Nemotron 3.5 Lightning.

6.0

MODELS · 1 ИСТОЧН. · Mistral AI

Mistral AI представляет Forge — систему для обучения корпоративных моделей на закрытых данных

Mistral AI представила Forge — платформу, позволяющую компаниям обучать передовые модели ИИ на собственных документах, кодовых базах, структурированных записях и политиках. Forge поддерживает предобучение, дообучение, обучение с подкреплением, плотные и MoE-архитектуры, мультимодальные входы и уже используется в партнёрствах с ASML, DSO, Ericsson, ESA, HTX Singapore и Reply.

7.0