Не установлено по доступным источникам.
NVIDIA; IIT MADRAS (AI4BHARAT) · ТРЕКЕР МОДЕЛИ
Nemotron-pretraining-Indic-v1
Большой открытый предтренировочный корпус, анонсированный NVIDIA и IIT Madras / AI4Bharat: Nemotron-pretraining-Indic-v1 описывается как примерно 2,8 триллиона токенов синтетического текстового корпуса для индийских языков, который будет выпущен вместе с открытым GPU-ускоренным пайплайном генерации данных.ТЕКУЩИЙ СНИМОК2/5 РАЗДЕЛОВ С ДАННЫМИ
Главные характеристики в одном месте.
Не установлено по доступным источникам.
МодальностьСинтетические текстовые данные для предтренировки (тексты в оригинальных письменностях и романизованные), включая переведённые и кураторские английские материалы, такие как математика, код и вопросы‑ответы, представленные на индийских языках.
Не установлено по доступным источникам.
ДоступностьАнонсирован как открытый релиз для сообщества, который будет опубликован вместе с повторно используемым GPU-ускоренным пайплайном генерации данных.
ПРОВЕРЯЕМЫЕ ФАКТЫ
Каждое значение привязано к источнику и дате.
РЕЛИЗ · Анонс выпускаДАННЫЕ РАЗРАБОТЧИКА
Анонсирован как Nemotron-pretraining-Indic-v1 — предтренировочный корпус примерно из 2,8 триллиона токенов; объявлено, что он будет выпущен в ближайшее время вместе с открытым GPU-ускоренным пайплайном генерации данных, использованным для его создания.
ВОЗМОЖНОСТИ · Охват языковДАННЫЕ РАЗРАБОТЧИКА
Содержит данные в оригинальных письменностях для 22 индийских языков (22 языка, перечисленные в Конституции Индии) и романизованный текст для двенадцати из этих языков.
МОДАЛЬНОСТИ · МодальностьДАННЫЕ РАЗРАБОТЧИКА
Синтетические текстовые данные для предтренировки (тексты в оригинальных письменностях и романизованные), включая переведённые и кураторские английские материалы, такие как математика, код и вопросы‑ответы, представленные на индийских языках.
ДОСТУПНОСТЬ · ДоступностьДАННЫЕ РАЗРАБОТЧИКА
Анонсирован как открытый релиз для сообщества, который будет опубликован вместе с повторно используемым GPU-ускоренным пайплайном генерации данных.
БЕЗОПАСНОСТЬ · Контроль качества и связь с источникомДАННЫЕ РАЗРАБОТЧИКА
Каждая запись восходит к кураторскому источнику, и выходы проверяются по входам, чтобы синтетический текст оставался привязанным к реальной информации; пайплайн включает подсказки, LLM‑воркфлоу и проверки качества для перевода, оценки и исправления.
ЧТО ИЗМЕНИЛОСЬ