РЕЛИЗ · MODELS · #4010
Thinking Machines Lab выпускает Inkling 2 Mini — зацикленная MoE-модель для локального использования
Inkling 2 Mini — новая мультимодальная зацикленная трансформер‑MoE-модель от Thinking Machines Lab (~26B физических параметров, ~3B активных на токен), которая повторно использует 24 физических слоя в трёх проходах, чтобы имитировать более глубокую архитектуру; поддерживает контекст до 1M токенов, текст и изображения, веса экспертов в NVFP4/MXFP8 и включает DSpark‑drafter; также выпущен исследовательский чекпоинт с переменным числом проходов. Модель поставляется для локального и датацентрового инференса с поддержкой transformers, llama.cpp, MLX и SGLang и по заявлению лидирует в ряде бенчмарков в своём классе.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Inkling 2 Mini — новая мультимодальная зацикленная трансформер‑MoE-модель от Thinking Machines Lab (~26B физических параметров, ~3B активных на токен), которая повторно использует 24 физических слоя в трёх проходах, чтобы имитировать более глубокую архитектуру; поддерживает контекст до 1M токенов, текст и изображения, веса экспертов в NVFP4/MXFP8 и включает DSpark‑drafter; также выпущен исследовательский чекпоинт с переменным числом проходов.
- Модель поставляется для локального и датацентрового инференса с поддержкой transformers, llama.cpp, MLX и SGLang и по заявлению лидирует в ряде бенчмарков в своём классе.
- Релиз показывает практическую архитектуру с зацикленным MoE, увеличивающую логическую глубину и ёмкость при меньшем размере чекпоинта, что делает мощные мультимодальные модели более применимыми для локального и on‑premise использования.
ПОЧЕМУ ЭТО ВАЖНО
Релиз показывает практическую архитектуру с зацикленным MoE, увеличивающую логическую глубину и ёмкость при меньшем размере чекпоинта, что делает мощные мультимодальные модели более применимыми для локального и on‑premise использования.
ИСТОЧНИКИ И ХРОНОЛОГИЯ
2TLDR; Inkling 2 Mini is a new looped transformer model. It’s a multimodal Mixture-of-Experts with ~26B physical total and 3B active parameters per token. It uses a neat trick to increase capacity: some layers are visited in a loop that repeats three times, which makes it work like it had more parameters. It supports a 1M-token context size, accepts images and text inputs. Thinking Machines Lab ships the model in a mi…
Thinking Machines has released Inkling 2 Mini, a so-called looped transformer. A looped transformer runs certain layers multiple times for each token. Inkling 2 Mini runs 12 of its 24 layers three times in a row. That lets the model reason internally for longer without generating more text, finding the right answer with fewer tokens, according to Thinking Machines . The open mixture-of-experts model has 26.4 billion …