跳到正文
NVIDIA Technical Blog· Fatima Fall·· 4 天前AI 评分40

一块 GPU 不够用:用 vLLM 在两台 NVIDIA DGX Station 上部署 GLM-5.3

When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM

AI 导读

NVIDIA 介绍如何通过 ConnectX-8 RDMA 连接两台 DGX Station,用 vLLM 以张量并行把 GLM-5.3 的权重和计算拆分到两块 GPU 上,通过单一端点提供推理服务。所用模型为 NVIDIA GLM-5.3 NVFP4,是 Z.ai 混合专家模型的量化版本。

来源: NVIDIA Technical Blog · developer.nvidia.com