Tech Meridian← ВСЕ МОДЕЛИ
PROМОЙ MERIDIAN

META · ТРЕКЕР МОДЕЛИ

Llama 3 405B

Llama 3 405B — конкретная модель семейства Llama 3. В приведённых выдержках сообщается, что во время её предобучения Meta провела 54‑дневный период предобучения на до 16K графических ускорителей NVIDIA H100 и связала небольшое число неожиданных прерываний задач с тихой порчей данных в оборудовании.

ТЕКУЩИЙ СНИМОК0/5 РАЗДЕЛОВ С ДАННЫМИ

Главные характеристики в одном месте.

ЦЕНА

Не установлено по доступным источникам.

КОНТЕКСТ

Не установлено по доступным источникам.

МОДАЛЬНОСТИ

Не установлено по доступным источникам.

БЕНЧМАРКИ

Не установлено по доступным источникам.

ДОСТУПНОСТЬ

Не установлено по доступным источникам.

ПРОВЕРЯЕМЫЕ ФАКТЫ

Каждое значение привязано к источнику и дате.

ВОЗМОЖНОСТИ · Вычислительные ресурсы и продолжительность предобученияДАННЫЕ РАЗРАБОТЧИКА

Предобучение длилось 54 дня с использованием до 16 000 графических процессоров NVIDIA H100 в распределённом обучении.

ОГРАНИЧЕНИЯ · Перебои работы из‑за тихой порчи данных во время предобученияДАННЫЕ РАЗРАБОТЧИКА

В ходе этого предобучения Meta отнесла 6 из 419 неожиданных прерываний заданий к тихой порче данных; это учтены лишь случаи, которые прервали задание и были прослежены до тихой порчи данных.

ОГРАНИЧЕНИЯ · Тихая порча данных вызвала неожиданные прерывания задач во время предобученияДАННЫЕ РАЗРАБОТЧИКА

В течение 54‑дневного периода предобучения Llama 3 405B на до 16K графических ускорителей NVIDIA H100 Meta отнесла 6 из 419 неожиданных прерываний задач к тихой порче данных.

ЧТО ИЗМЕНИЛОСЬ

Сохранённые версии паспорта, без догадок задним числом.

Паспорт обновлён3 фактов
ОГРАНИЧЕНИЯ · Тихая порча данных вызвала неожиданные прерывания задач во время предобучения+ В течение 54‑дневного периода предобучения Llama 3 405B на до 16K графических ускорителей NVIDIA H100 Meta отнесла 6 из 419 неожиданных прерываний задач к тихой порче данных.
Паспорт создан2 фактов