ИССЛЕДОВАНИЕ · RESEARCH · #2080
NVIDIA и AI4Bharat выпускают Nemotron-pretraining-Indic-v1: корпус на 2,8 трлн токенов и открытый GPU-пайплайн
NVIDIA совместно с IIT Madras (AI4Bharat) публикуют Nemotron-pretraining-Indic-v1 — синтетический препрайтинг-корпус примерно на 2,8 трлн токенов для 22 индийских языков и открытый GPU-ускоренный пайплайн генерации данных (включая подсказки, LLM‑воркфлоу и проверки качества). Корпус содержит варианты на родных системах письма и романизованные тексты, сохраняет технический контент (математика, код, таблицы), сопоставляет выводы с курированными исходниками и частично использовался для добавления 10 млрд индийских токенов в дообучение Nemotron 3.5 Super VL; данные и рецепт генерации доступны для воспроизведения и расширения.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- NVIDIA совместно с IIT Madras (AI4Bharat) публикуют Nemotron-pretraining-Indic-v1 — синтетический препрайтинг-корпус примерно на 2,8 трлн токенов для 22 индийских языков и открытый GPU-ускоренный пайплайн генерации данных (включая подсказки, LLM‑воркфлоу и проверки качества).
- Корпус содержит варианты на родных системах письма и романизованные тексты, сохраняет технический контент (математика, код, таблицы), сопоставляет выводы с курированными исходниками и частично использовался для добавления 10 млрд индийских токенов в дообучение Nemotron 3.5 Super VL; данные и рецепт генерации доступны для воспроизведения и расширения.
- Открытый корпус на 2,8 трлн токенов и воспроизводимый GPU‑пайплайн устраняют ключевую нехватку данных для индийских языков и облегчают создание и оценку крупных моделей для этих языков.
ПОЧЕМУ ЭТО ВАЖНО
Открытый корпус на 2,8 трлн токенов и воспроизводимый GPU‑пайплайн устраняют ключевую нехватку данных для индийских языков и облегчают создание и оценку крупных моделей для этих языков.