Tech Meridian ← К СУЩНОСТЯМ
EN

КОМПАНИЯ · ENTITY #175

Mixture-of-Experts (MoE)

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

3

MODELS · 1 ИСТОЧН. · Cohere

Cohere выпустила open-source модель распознавания речи "Transcribe Arabic" с претензией на лучшую точность среди открытых моделей

Cohere выпустила Transcribe Arabic — open-source модель автоматического распознавания арабской речи (лицензия Apache 2.0), основанную на их 2‑миллиардной ASR-модели. Компания утверждает, что модель достигает WER 25.87 на Hugging Face Arabic ASR Leaderboard, опережая OmniASR-LLM-7B и Whisper Large V3, и в ~96% человеческих оценок предпочтение отдавали ей перед Whisper; веса доступны на Hugging Face и через Cohere API/Model Vault.

8.0

RESEARCH · 1 ИСТОЧН. · Cohere

Cohere представляет hardware-aware Dynamic Speculative Decoding (DSD) для адаптации числа черновых токенов к ограничениям GPU

Cohere описывает Dynamic Speculative Decoding (DSD) — расширение speculative decoding, которое выбирает число черновых токенов K в зависимости от режима аппаратуры (узкое место — пропускная способность памяти или вычисления) и типа модели (плотная или MoE). DSD опирается на офлайн-профилирование Acceptance Length (AL) и Inter-Token Latency (ITL) для подбора оптимального K в разных условиях, чтобы сохранить выигрыш в скорости в продакшене и при масштабных RL-роллаутах.

7.0

MODELS · 1 ИСТОЧН. · NVIDIA Developer

Плотные (Dense) vs MoE-модели: активные параметры, пропускная способность и когда выбирать каждую

Публикация NVIDIA Developer сравнивает плотные и MoE-архитектуры, демонстрируя, как 30-миллиардная модель может активировать лишь около 3 млрд параметров на токен, и обсуждает связанные компромиссы между ёмкостью и пропускной способностью; в качестве примера используется Nemotron 3.5 Lightning.

6.0