Mixture-of-Experts (MoE)

2026-10-31

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

LRMoE: перекалибровка нагрузки на стороне спроса для экономной по памяти тренировки MoE

Новая статья на arXiv (arXiv:2610.37720v1) представляет LRMoE — систему тренировки MoE, учитывающую ограниченную память: она планирует квоты удержания и перекалибровывает обратную нагрузку, сокращая коммуникацию, вычисления и потребление буферов на GPU с ограниченной памятью. В экспериментах на Qwen3-30B-A3B и GLM4.5-106B-A12B LRMoE, по заявлению авторов, уменьшает суммарное время тренировки MoE-слоёв до заданных потерь на 21.2–44.8% по сравнению с SYMI.

7.0

2026-10-16

MODELS · 1 ИСТОЧН. · Hugging Face

Reflection выпустила Beam — 501B MoE открытая модель с контекстом 1M токенов (Apache‑2.0)

Reflection опубликовала Beam — 501-миллиардную модель Mixture-of-Experts на Hugging Face под лицензией Apache‑2.0. Beam исполняет примерно 23B параметров на токен, поддерживает текстовый ввод с контекстом до 1M токенов, ориентирована на кодирование и агентные задачи, поставляется с Rust‑ха́рнессом для производительности, имеет day‑0 поддержку в transformers, vLLM и SGLang и рецепты для инференса, SFT и RL.

8.0

2026-10-15

MODELS · 4 ИСТОЧН. · Hugging Face · NVIDIA Developer · The Decoder · TechCrunch AI

Meta представила Muse Spark Open — открытая мультимодальная MoE-модель на 816 млрд параметров

Meta выпустила Muse Spark Open — открытую MoE-модель примерно на 816 млрд параметров (≈42 млрд активных на токен), принимающую текст, изображения, аудио и видео и поддерживающую окно контекста до 1 048 576 токенов. По словам Meta, модель оптимизирована для агентных рабочих потоков разработки (чтение, запись, отладка кода и вызовы инструментов); чекпоинты доступны в BF16 (safetensors, ≈1,5 ТБ) и NVFP4 (4‑бит) для GPU NVIDIA Blackwell.

9.0

2026-10-13

CODING · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker описывает оптимизацию fused-MoE кернелов с учётом ограничений WGMMA на NVIDIA Hopper

Инженеры Amazon SageMaker описывают оптимизации на уровне кернелов для fused Mixture-of-Experts (MoE), сосредоточенные на узких местах производительности из-за WGMMA-инструкции NVIDIA Hopper, фиксирующей размерность M равной 64. В материале объясняется, как рабочие нагрузки на этапе декодирования (часто M=1) в сочетании с большим N у fused MoE (например, topk=8 объединяет многих экспертов) создают асимметрию форм операндов и недогружают Tensor Core, а также приведены реализованные оптимизации и их эффект на примере модели.

7.0

2026-10-07

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

JIVEAdapter: аддитивный многозадачный низкоранговый адаптер на основе JIVE

В статье предложен JIVEAdapter — аддитивный низкоранговый адаптер, который разлагает обновления весов на общую «Joint»-часть и пер-задание «Individual»-части, принуждает их к почти ортогональности и адаптивно распределяет ранги между общим и задачными пулами. На DeBERTaV3-base для GLUE и SuperGLUE JIVEAdapter показал сопоставимые результаты с сильными базовыми низкоранговыми методами при равном пер-задачном эффективном ранге и позволяет замораживать Joint для последующего дешёвого переиспользования.

6.0

2026-10-01

MODELS · 1 ИСТОЧН. · Hugging Face

Olmo запускает Olmo-core 3 — открытую масштабируемую инфраструктуру обучения MoE

Olmo выпустила Olmo-core 3 — переработанный открытый фреймворк для обучения моделей с mixture-of-experts (MoE), рассчитанный на масштабирование до триллионных параметров при сохранении вычислительной эффективности. Стек переходит от FSDP к DDP, сочетает экспертную и конвейерную параллельность и другие оптимизации; по данным компании, на 47‑млрд MoE на восьми NVIDIA B300 пропускная способность выросла в 2,7×, а MXFP8 в тестах дал примерно +21% к скорости по сравнению с BF16.

7.0

2026-09-25

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon описывает архитектуру EKS + EFA + DeepEP для масштабирования MoE-обучения с усилением до 40% пропускной способности

Пост Amazon описывает архитектуру, объединяющую Amazon EKS, Elastic Fabric Adapter (EFA) и DeepEP для решения задач гетерогенных вычислений, высокоскоростной коммуникации и оркестрации при пост-тренировке MoE с подкреплением (включая RLHF и GRPO). В материале рассказывается о балансировке генерации роллаутов и синхронного обучения политики, оптимизации коммуникаций Expert Parallelism (EP) через EFA и приводится оценка до 40% прироста пропускной способности с DeepEP.

6.0

2026-09-21

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Attention-Aware Routing (AAR) для MoE-моделей (arXiv:2609.20974v1)

В статье предложен Attention-Aware Routing (AAR): роутер MoE дополняется временными и спектральными признаками, получаемыми из скользящего окна весов внимания, при этом базовый трансформер остаётся замороженным, а обучаются только параметры роутинга. На OLMoE AAR даёт +3.37 процентных пункта по GSM8K относительно SFT-базовой модели, показывает, что изменения в роутинге через остаточный поток формируют внимание на следующем слое без прямых правок механизма внимания, сокращает длинные разветвлённые генерации неправильных ответов и демонстрирует сильную чувствительность к глубине слоёв, разделяющую поведение извлечения фактов и рассуждения.

7.0

2026-09-16

MODELS · 1 ИСТОЧН. · Cohere

Cohere выпустила open-source модель распознавания речи "Transcribe Arabic" с претензией на лучшую точность среди открытых моделей

Cohere выпустила Transcribe Arabic — open-source модель автоматического распознавания арабской речи (лицензия Apache 2.0), основанную на их 2‑миллиардной ASR-модели. Компания утверждает, что модель достигает WER 25.87 на Hugging Face Arabic ASR Leaderboard, опережая OmniASR-LLM-7B и Whisper Large V3, и в ~96% человеческих оценок предпочтение отдавали ей перед Whisper; веса доступны на Hugging Face и через Cohere API/Model Vault.

8.0

2026-09-16

RESEARCH · 1 ИСТОЧН. · Cohere

Cohere представляет hardware-aware Dynamic Speculative Decoding (DSD) для адаптации числа черновых токенов к ограничениям GPU

Cohere описывает Dynamic Speculative Decoding (DSD) — расширение speculative decoding, которое выбирает число черновых токенов K в зависимости от режима аппаратуры (узкое место — пропускная способность памяти или вычисления) и типа модели (плотная или MoE). DSD опирается на офлайн-профилирование Acceptance Length (AL) и Inter-Token Latency (ITL) для подбора оптимального K в разных условиях, чтобы сохранить выигрыш в скорости в продакшене и при масштабных RL-роллаутах.

7.0

2026-09-15

MODELS · 1 ИСТОЧН. · NVIDIA Developer

Плотные (Dense) vs MoE-модели: активные параметры, пропускная способность и когда выбирать каждую

Публикация NVIDIA Developer сравнивает плотные и MoE-архитектуры, демонстрируя, как 30-миллиардная модель может активировать лишь около 3 млрд параметров на токен, и обсуждает связанные компромиссы между ёмкостью и пропускной способностью; в качестве примера используется Nemotron 3.5 Lightning.

6.0