Не установлено по доступным источникам.
NVIDIA · ТРЕКЕР МОДЕЛИ
Nemotron 3
Nemotron 3 — гибридная модель NVIDIA, которая чередует слои модели пространственного состояния (SSM) с несколькими слоями внимания. В качестве SSM-реализаций для таких моделей упоминаются Mamba-2, Gated DeltaNet (GDN) или Kimi Delta Attention (KDA).ТЕКУЩИЙ СНИМОК1/5 РАЗДЕЛОВ С ДАННЫМИ
Главные характеристики в одном месте.
Не установлено по доступным источникам.
Не установлено по доступным источникам.
Оценка на IOI проводилась в реальном времени с ограничениями, как у людей, и была неофициальнойРезультат на IOI получен в живом, перспективном прогоне при тех же ограничениях по времени, доступу в интернет и подачам, что и у человеческих участников; это был неофициальный, несупервизированный бенчмарк и он не вошёл в официальный рейтинг IOI.
Доказательства системы для IMO были оценены официальными корректорами IMOОтправленные системой доказательства для IMO были оценены официальными корректорами IMO.
Прогресс очков на IOI у Nemotron-3-Nano-CC и Nemotron-3-Ultra-CCNano улучшился с 130 баллов до пост‑обучения до 280 после SFT и 291 после RL; с GenCorrect он достиг 468 баллов (пересекая порог золота в 438.3). Ultra-CC достиг 502 баллов при применении той же стратегии во время теста.
Не установлено по доступным источникам.
ПРОВЕРЯЕМЫЕ ФАКТЫ
Каждое значение привязано к источнику и дате.
ВОЗМОЖНОСТИ · Файнтюнингованные специалисты на базе Nemotron 3 достигли уровня золотой медали на IOI 2026 и IMO 2026ДАННЫЕ РАЗРАБОТЧИКА
Начиная с Nemotron 3, команды использовали supervised fine-tuning, reinforcement learning и feedback-driven inference для создания систем, которые достигли уровня золотой медали как на IMO 2026, так и на IOI 2026.
БЕНЧМАРКИ · Оценка на IOI проводилась в реальном времени с ограничениями, как у людей, и была неофициальнойДАННЫЕ РАЗРАБОТЧИКА
Результат на IOI получен в живом, перспективном прогоне при тех же ограничениях по времени, доступу в интернет и подачам, что и у человеческих участников; это был неофициальный, несупервизированный бенчмарк и он не вошёл в официальный рейтинг IOI.
БЕНЧМАРКИ · Доказательства системы для IMO были оценены официальными корректорами IMOДАННЫЕ РАЗРАБОТЧИКА
Отправленные системой доказательства для IMO были оценены официальными корректорами IMO.
ВОЗМОЖНОСТИ · Названные варианты Nemotron-3, количество параметров и применённые методы обученияДАННЫЕ РАЗРАБОТЧИКА
Для соревновательного программирования были обучены два специалиста: Nemotron-3-Nano-CC (30 миллиардов параметров всего, 3 миллиарда активных параметров), которому применяли SFT и RL, и Nemotron-3-Ultra-CC (550 миллиардов параметров всего, 55 миллиардов активных параметров), которому применяли SFT.
БЕНЧМАРКИ · Прогресс очков на IOI у Nemotron-3-Nano-CC и Nemotron-3-Ultra-CCДАННЫЕ РАЗРАБОТЧИКА
Nano улучшился с 130 баллов до пост‑обучения до 280 после SFT и 291 после RL; с GenCorrect он достиг 468 баллов (пересекая порог золота в 438.3). Ultra-CC достиг 502 баллов при применении той же стратегии во время теста.
ВОЗМОЖНОСТИ · Архитектура (гибрид SSM + attention)ДАННЫЕ РАЗРАБОТЧИКА
Nemotron 3 построен как гибридная модель, чередующая слои модели пространственного состояния (SSM) с несколькими слоями внимания.
ВОЗМОЖНОСТИ · Реализации SSM-слоёвДАННЫЕ РАЗРАБОТЧИКА
Nemotron 3 (как гибридная модель) использует SSM-слои; в статье в качестве примеров таких реализаций упоминаются Mamba-2, Gated DeltaNet (GDN) или Kimi Delta Attention (KDA).
ОГРАНИЧЕНИЯ · Поведение задержки SSM-слоёв / ограничениеДАННЫЕ РАЗРАБОТЧИКА
Поскольку Nemotron 3 использует SSM-слои, при размерах batch для сервинга именно SSM-слои (а не внимание) могут становиться узким местом по задержке при контексте до примерно 100 000 токенов.
ЧТО ИЗМЕНИЛОСЬ
Сохранённые версии паспорта, без догадок задним числом.
ВОЗМОЖНОСТИ · Архитектура (гибрид SSM + attention)+ Nemotron 3 построен как гибридная модель, чередующая слои модели пространственного состояния (SSM) с несколькими слоями внимания.
ОГРАНИЧЕНИЯ · Поведение задержки SSM-слоёв / ограничение+ Поскольку Nemotron 3 использует SSM-слои, при размерах batch для сервинга именно SSM-слои (а не внимание) могут становиться узким местом по задержке при контексте до примерно 100 000 токенов.
ВОЗМОЖНОСТИ · Реализации SSM-слоёв+ Nemotron 3 (как гибридная модель) использует SSM-слои; в статье в качестве примеров таких реализаций упоминаются Mamba-2, Gated DeltaNet (GDN) или Kimi Delta Attention (KDA).