Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #7671

Mixture-of-Experts

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

MODELS · 2 ИСТОЧН. · Hugging Face · The Decoder

Thinking Machines Lab выпускает Inkling 2 Mini — зацикленная MoE-модель для локального использования

Inkling 2 Mini — новая мультимодальная зацикленная трансформер‑MoE-модель от Thinking Machines Lab (~26B физических параметров, ~3B активных на токен), которая повторно использует 24 физических слоя в трёх проходах, чтобы имитировать более глубокую архитектуру; поддерживает контекст до 1M токенов, текст и изображения, веса экспертов в NVFP4/MXFP8 и включает DSpark‑drafter; также выпущен исследовательский чекпоинт с переменным числом проходов. Модель поставляется для локального и датацентрового инференса с поддержкой transformers, llama.cpp, MLX и SGLang и по заявлению лидирует в ряде бенчмарков в своём классе.

7.0

MODELS · 1 ИСТОЧН. · arXiv cs.AI

Hunyuan-A13B: открытая MoE-модель 80B с активацией 13B

В статье на arXiv (arXiv:2609.27284v1) представлена открытая MoE-языковая модель Hunyuan-A13B с 80 миллиардами параметров, из которых во время вывода активируется 13 миллиардов. Модель предобучена на отфильтрованном корпусе из 20T токенов с улучшенной STEM-категоризацией, дообучена с привлечением разметки и RL, содержит двухрежимную стратегию Chain-of-Thought для «быстрого» и «медленного» вывода и демонстрирует конкурентные результаты и высокую пропускную способность вывода.

8.0