Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ГАЙД · MODELS · #3546

Руководство NVIDIA: запуск GLM-5.3 на двух DGX Stations с vLLM

NVIDIA опубликовала руководство по локальному развертыванию 753‑миллиардной модели GLM‑5.3 (квантованная NVFP4 MoE) на двух DGX Station с GB300 через vLLM. В нем показана схема tensor-parallel TP=2 по ConnectX‑8 RDMA (без выгрузки весов на CPU), где Station A отвечает за OpenAI‑совместимый API, Station B — за вычисления, а также приведены шаги по копированию контрольной точки (≈464 ГБ), проверкам сети и базовому тестированию нагрузки.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. NVIDIA опубликовала руководство по локальному развертыванию 753‑миллиардной модели GLM‑5.3 (квантованная NVFP4 MoE) на двух DGX Station с GB300 через vLLM.
  2. В нем показана схема tensor-parallel TP=2 по ConnectX‑8 RDMA (без выгрузки весов на CPU), где Station A отвечает за OpenAI‑совместимый API, Station B — за вычисления, а также приведены шаги по копированию контрольной точки (≈464 ГБ), проверкам сети и базовому тестированию нагрузки.
  3. Это важно, поскольку показывает практическую многомашинную конфигурацию (RDMA + tensor‑parallel), позволяющую обслуживать передовую MoE‑модель, которая не помещается в память одного GB300, и проводить локальное развертывание и тестирование.

ПОЧЕМУ ЭТО ВАЖНО

Это важно, поскольку показывает практическую многомашинную конфигурацию (RDMA + tensor‑parallel), позволяющую обслуживать передовую MoE‑модель, которая не помещается в память одного GB300, и проводить локальное развертывание и тестирование.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1