Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #9264

mixture-of-experts

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

5

MODELS · 2 ИСТОЧН. · Hugging Face · The Decoder

Thinking Machines Lab выпускает Inkling 2 Mini — зацикленная MoE-модель для локального использования

Inkling 2 Mini — новая мультимодальная зацикленная трансформер‑MoE-модель от Thinking Machines Lab (~26B физических параметров, ~3B активных на токен), которая повторно использует 24 физических слоя в трёх проходах, чтобы имитировать более глубокую архитектуру; поддерживает контекст до 1M токенов, текст и изображения, веса экспертов в NVFP4/MXFP8 и включает DSpark‑drafter; также выпущен исследовательский чекпоинт с переменным числом проходов. Модель поставляется для локального и датацентрового инференса с поддержкой transformers, llama.cpp, MLX и SGLang и по заявлению лидирует в ряде бенчмарков в своём классе.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

FlexFloor: Эластичный параллелизм экспертов для ускорения RL пост‑тренировки больших языковых моделей

Препринт на arXiv (arXiv:2611.06984v1) представляет FlexFloor — систему, которая сокращает простаивание вычислительных рабочих при синхронной генерации ответов в RL-пост‑тренировке больших языковых моделей за счёт адаптивного планирования и поэтапного освобождения рабочих при сохранении доступности экспертов. Авторы сообщают ~65.40% больше токенов на единицу занятого времени и ~52.74% рост пропускной способности по сравнению с verl baseline при незначительных изменениях вознаграждения в роллаутах.

6.0

MODELS · 1 ИСТОЧН. · The Decoder

Aleph Alpha выпустила Kolibri — 78-млрд MoE‑модель для нем./англ. с контекстом 1M и открытыми весами

Aleph Alpha представила Kolibri — 78‑миллиардную немецко‑английскую MoE‑модель с примерно 3 миллиардами активных параметров на токен и поддержкой контекста до 1 миллиона токенов; её обучали на 768 B200 GPU в Германии и Финляндии. Компания указывает, что 21,3% данных — на немецком, для синтетических данных использовали китайские модели, модель заявлена как Pareto‑эффективная по качеству и стоимости, веса доступны под Apache 2.0 на Hugging Face и ориентированы на госуправление, авиацию и промышленность с учётом требованиям EU AI Act.

8.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

CourseChat: локальный многокурсный RAG‑репетитор для бизнес‑образования (arXiv:2610.02510v1)

Авторы описывают CourseChat — локальный многокурсный репетитор на основе retrieval-augmented generation (RAG), запущенный за кампус‑шлюзом и интегрированный с Moodle; система работает на двух edge‑хостах с FastAPI, локальной векторной БД и LLM через Ollama для шести изолированных CRN. В статье представлены два сравнительных прогона моделей, сравнение точности источников, аудиты диалогов и тестов: большие модели не прошли по скорости, 12B и 7B прошли, смесь экспертов добавляла новые ошибки, поэтому в продакшне пока оставили 8B; учебный эффект и приемлемость для публичного шлюза не оценены.

6.0

RESEARCH · 1 ИСТОЧН. · The Decoder

Исследование: люди принимают большинство решений при разработке Atria Dawn Preview с помощью агентов ИИ

Исследователи из Фуданского университета проанализировали 769 журналов задач и агентов при разработке агентной LLM Atria Dawn Preview (744 миллиарда параметров, смесь экспертов). Они обнаружили, что ИИ часто предлагал варианты и увеличивал число действий агентов, но люди приняли около 85% методических решений и 93% контентных решений; примерно треть задач была невыполнима без ИИ.

7.0