Не установлено по доступным источникам.
META · ТРЕКЕР МОДЕЛИ
Llama 3 405B
Llama 3 405B — конкретная модель семейства Llama 3. В приведённых выдержках сообщается, что во время её предобучения Meta провела 54‑дневный период предобучения на до 16K графических ускорителей NVIDIA H100 и связала небольшое число неожиданных прерываний задач с тихой порчей данных в оборудовании.ТЕКУЩИЙ СНИМОК0/5 РАЗДЕЛОВ С ДАННЫМИ
Главные характеристики в одном месте.
Не установлено по доступным источникам.
Не установлено по доступным источникам.
Не установлено по доступным источникам.
Не установлено по доступным источникам.
ПРОВЕРЯЕМЫЕ ФАКТЫ
Каждое значение привязано к источнику и дате.
ВОЗМОЖНОСТИ · Вычислительные ресурсы и продолжительность предобученияДАННЫЕ РАЗРАБОТЧИКА
Предобучение длилось 54 дня с использованием до 16 000 графических процессоров NVIDIA H100 в распределённом обучении.
ОГРАНИЧЕНИЯ · Перебои работы из‑за тихой порчи данных во время предобученияДАННЫЕ РАЗРАБОТЧИКА
В ходе этого предобучения Meta отнесла 6 из 419 неожиданных прерываний заданий к тихой порче данных; это учтены лишь случаи, которые прервали задание и были прослежены до тихой порчи данных.
ОГРАНИЧЕНИЯ · Тихая порча данных вызвала неожиданные прерывания задач во время предобученияДАННЫЕ РАЗРАБОТЧИКА
В течение 54‑дневного периода предобучения Llama 3 405B на до 16K графических ускорителей NVIDIA H100 Meta отнесла 6 из 419 неожиданных прерываний задач к тихой порче данных.
ЧТО ИЗМЕНИЛОСЬ
Сохранённые версии паспорта, без догадок задним числом.
ОГРАНИЧЕНИЯ · Тихая порча данных вызвала неожиданные прерывания задач во время предобучения+ В течение 54‑дневного периода предобучения Llama 3 405B на до 16K графических ускорителей NVIDIA H100 Meta отнесла 6 из 419 неожиданных прерываний задач к тихой порче данных.