ГАЙД · MODELS · #3546
Руководство NVIDIA: запуск GLM-5.3 на двух DGX Stations с vLLM
NVIDIA опубликовала руководство по локальному развертыванию 753‑миллиардной модели GLM‑5.3 (квантованная NVFP4 MoE) на двух DGX Station с GB300 через vLLM. В нем показана схема tensor-parallel TP=2 по ConnectX‑8 RDMA (без выгрузки весов на CPU), где Station A отвечает за OpenAI‑совместимый API, Station B — за вычисления, а также приведены шаги по копированию контрольной точки (≈464 ГБ), проверкам сети и базовому тестированию нагрузки.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- NVIDIA опубликовала руководство по локальному развертыванию 753‑миллиардной модели GLM‑5.3 (квантованная NVFP4 MoE) на двух DGX Station с GB300 через vLLM.
- В нем показана схема tensor-parallel TP=2 по ConnectX‑8 RDMA (без выгрузки весов на CPU), где Station A отвечает за OpenAI‑совместимый API, Station B — за вычисления, а также приведены шаги по копированию контрольной точки (≈464 ГБ), проверкам сети и базовому тестированию нагрузки.
- Это важно, поскольку показывает практическую многомашинную конфигурацию (RDMA + tensor‑parallel), позволяющую обслуживать передовую MoE‑модель, которая не помещается в память одного GB300, и проводить локальное развертывание и тестирование.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, поскольку показывает практическую многомашинную конфигурацию (RDMA + tensor‑parallel), позволяющую обслуживать передовую MoE‑модель, которая не помещается в память одного GB300, и проводить локальное развертывание и тестирование.