Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

РЕЛИЗ · MODELS · #3163

Baidu открыла ERNIE-5.5-Flash-Base — фундаментальную MoE-модель на 280 млрд параметров

Baidu выпустила ERNIE-5.5-Flash-Base — открытую фундаментальную модель с архитектурой mixture-of-experts и 280 млрд параметров (14 млрд активных на вход). Базовая модель предобучена на 33,5 трлн токенов с контекстом обучения до 128k и рассчитана на поддержку до 1M токенов при дообучении/инференсе; веса размещены на Hugging Face в FP8 и BF16, Baidu сравнивает её с DeepSeek V4 Flash и MiMo V2.5, а позже планируется выпустить пост-тренированную версию.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Baidu выпустила ERNIE-5.5-Flash-Base — открытую фундаментальную модель с архитектурой mixture-of-experts и 280 млрд параметров (14 млрд активных на вход).
  2. Базовая модель предобучена на 33,5 трлн токенов с контекстом обучения до 128k и рассчитана на поддержку до 1M токенов при дообучении/инференсе; веса размещены на Hugging Face в FP8 и BF16, Baidu сравнивает её с DeepSeek V4 Flash и MiMo V2.5, а позже планируется выпустить пост-тренированную версию.
  3. Открытая модель на 280 млрд параметров с MoE и поддержкой длинного контекста ускоряет работу разработчиков и исследователей над масштабными моделями, длинными контекстами и стратегиями дообучения.

ПОЧЕМУ ЭТО ВАЖНО

Открытая модель на 280 млрд параметров с MoE и поддержкой длинного контекста ускоряет работу разработчиков и исследователей над масштабными моделями, длинными контекстами и стратегиями дообучения.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1