一块 GPU 不够用:用 vLLM 在两台 NVIDIA DGX Station 上部署 GLM-5.3
NVIDIA 介绍如何通过 ConnectX-8 RDMA 连接两台 DGX Station,用 vLLM 以张量并行把 GLM-5.3 的权重和计算拆分到两块 GPU 上,通过单一端点提供推理服务。所用模型为 NVIDIA GLM-5.3 NVFP4,是 Z.ai 混合专家模型的量化版本。
NVIDIA 介绍如何通过 ConnectX-8 RDMA 连接两台 DGX Station,用 vLLM 以张量并行把 GLM-5.3 的权重和计算拆分到两块 GPU 上,通过单一端点提供推理服务。所用模型为 NVIDIA GLM-5.3 NVFP4,是 Z.ai 混合专家模型的量化版本。