一块 GPU 不够用:用 vLLM 在两台 NVIDIA DGX Station 上部署 GLM-5.3
NVIDIA 介绍如何通过 ConnectX-8 RDMA 连接两台 DGX Station,用 vLLM 以张量并行把 GLM-5.3 的权重和计算拆分到两块 GPU 上,通过单一端点提供推理服务。所用模型为 NVIDIA GLM-5.3 NVFP4,是 Z.ai 混合专家模型的量化版本。
NVIDIA 介绍如何通过 ConnectX-8 RDMA 连接两台 DGX Station,用 vLLM 以张量并行把 GLM-5.3 的权重和计算拆分到两块 GPU 上,通过单一端点提供推理服务。所用模型为 NVIDIA GLM-5.3 NVFP4,是 Z.ai 混合专家模型的量化版本。
Google 发布 Gemini Decisions API,由新模型 Gemini Decision 1(gemini-decision-1)驱动,已在 Google AI Studio 的 Gemini API 中开放。
推荐理由:原文给出了定价、延迟和校准误差数据,读者可据此判断这类闭集决策接口适合替代哪些分类器调用。
Meta 构建的 Intelligent Delivery 系统通过 ML 驱动、逐步由 AI 智能体运营的自适应优化层,为每个广告请求动态分配算力,自 2017 年至 2026 年上半年在模型与系统进步之上额外带来约 10% 的排序性能提升。
Meta 工程团队介绍 Triton 低层扩展 TLX,在保留 Triton 编程模型的同时加入 warp group 与 cluster 级显式编排,并提出介于 SIMT 与 SIMB 之间的 MIMW 抽象。
Google Cloud 发布 Gemini for healthcare,把临床、运营和行政系统中分散的数据整合起来,支持团队将数据转化为协同行动。该平台通过专用技能和数据连接器接入电子病历、账单平台、临床指南和 Medicare 数据集,在既定护栏和人工监督下编排病历综合、事前授权审核等多步流程。
推荐理由:读者可了解 Gemini 如何接入电子病历、账单与医保数据,把多步临床与行政流程交给智能体编排。
Meta 公布 Catching JiTTests 已从研究原型进入生产基础设施,用 LLM 为待合入的代码变更自动生成可执行测试,在代码落地前暴露缺陷。系统由 intent-aware 与 dodgy diff 两条测试生成流程、LLM-as-Judge 集成评审和规则式 RubFake 过滤组成,并采用 human-on-the-loop 方式让工程师按聚合结果介入。
Meta 工程团队详解 PrivacyLib,这是一个运行在数百个数据与处理系统客户端内的通用库,每秒执行数十亿次隐私检查。系统只需接入一次,新隐私能力即以模块形式复用该集成,取代了此前在每个系统中重复实现的做法。PrivacyLib 还通过 Agent Observability 模块观测内部 AI 智能体的数据访问事件。
Meta 在 2026 OCP 全球峰会上分享了支撑 Muse Wonder、Muse Spark 模型及吉瓦级 Prometheus 集群的网络创新,包括首款液冷网络机架 IcePack 与 102.4T 交换机 IceCube、多平面 scale-out 架构 FPF、跨区域超级骨干 BAG,以及面向 MTIA 300 的以太网 scale-up 交换机 Tahan。
Amazon 本周宣布开源 TorchNeuron,这一后端可将 PyTorch 代码转换为可在 AWS Trainium 上执行的操作,已在其他加速器上运行的代码几乎无需改动即可迁移。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线,用户可在本地或 Ollama 云端运行。Clef 接收状态和一组带类型的结构化问题,一次读取输入并同时为每个问题打分,支持文本、JSON 和图像输入,兼容 Jev 与 System One API,基于 Qwen3.8-27B 微调,采用 Apache 2.0 许可。
Ollama Cloud 现在可以在 Fly.io Sprites 的完整 Linux 虚拟机沙箱内使用,Claude Code、Codex 和 Gemini CLI 开箱即支持。
Amazon Web Services 团队提出 Priming 方法,以预训练 Transformer 权重为起点构建混合状态空间模型,把混合架构的预训练成本降低 99% 以上,整个流程消耗不到源模型预训练 token 预算的 0.5%。
推荐理由:亚马逊团队提出复用预训练 Transformer 权重改造混合架构的方法,把预训练成本降低 99% 以上,并给出可复现的模型与代码。
Ollama 在 0.35 版本中新增对决策模型的支持,基于 TypeSafe 的 Jev API,通过新的 /v1/systemone 端点把文本作为状态、附带一组命名问题,由本地模型在一次请求中全部作答。
Ollama 宣布 Pro、Max、Team 套餐改用按 token 计费的透明定价,每个套餐每月附带使用额度。Pro 为 $20/月含 $60 月度用量,Max 为 $100/月含 $300,Team 为 $500/月含 $1,000 共享用量且不限用户数;免费套餐新增少量起始模型月度用量,超出后可按同一 token 单价继续使用。