一块 GPU 不够用:用 vLLM 在两台 NVIDIA DGX Station 上部署 GLM-5.3
NVIDIA 介绍如何通过 ConnectX-8 RDMA 连接两台 DGX Station,用 vLLM 以张量并行把 GLM-5.3 的权重和计算拆分到两块 GPU 上,通过单一端点提供推理服务。所用模型为 NVIDIA GLM-5.3 NVFP4,是 Z.ai 混合专家模型的量化版本。
NVIDIA 介绍如何通过 ConnectX-8 RDMA 连接两台 DGX Station,用 vLLM 以张量并行把 GLM-5.3 的权重和计算拆分到两块 GPU 上,通过单一端点提供推理服务。所用模型为 NVIDIA GLM-5.3 NVFP4,是 Z.ai 混合专家模型的量化版本。
Meta 工程团队介绍 Triton 低层扩展 TLX,在保留 Triton 编程模型的同时加入 warp group 与 cluster 级显式编排,并提出介于 SIMT 与 SIMB 之间的 MIMW 抽象。
Meta 在 2026 OCP 全球峰会上分享了支撑 Muse Wonder、Muse Spark 模型及吉瓦级 Prometheus 集群的网络创新,包括首款液冷网络机架 IcePack 与 102.4T 交换机 IceCube、多平面 scale-out 架构 FPF、跨区域超级骨干 BAG,以及面向 MTIA 300 的以太网 scale-up 交换机 Tahan。
Ollama 现在可以把文本转成语音,首个接入的语音模型是 Gradium 的小型 TTS 模型系列 Phonon,目前支持 macOS,Windows 和 Linux 支持即将推出。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线,用户可在本地或 Ollama 云端运行。Clef 接收状态和一组带类型的结构化问题,一次读取输入并同时为每个问题打分,支持文本、JSON 和图像输入,兼容 Jev 与 System One API,基于 Qwen3.8-27B 微调,采用 Apache 2.0 许可。
Ollama 在 0.35 版本中新增对决策模型的支持,基于 TypeSafe 的 Jev API,通过新的 /v1/systemone 端点把文本作为状态、附带一组命名问题,由本地模型在一次请求中全部作答。
Ollama 宣布 Pro、Max、Team 套餐改用按 token 计费的透明定价,每个套餐每月附带使用额度。Pro 为 $20/月含 $60 月度用量,Max 为 $100/月含 $300,Team 为 $500/月含 $1,000 共享用量且不限用户数;免费套餐新增少量起始模型月度用量,超出后可按同一 token 单价继续使用。