NVIDIA Vera Rubin NVL72 在 MLPerf Training v6.1 中达到 Blackwell Ultra 最高 2 倍性能
NVIDIA 公布 Vera Rubin NVL72 在 MLPerf Training v6.1 的首次成绩,性能最高达到 Blackwell Ultra 的 2 倍。这是 Vera Rubin 架构在 MLPerf 的首次亮相,NVIDIA 称其 CUDA 软件栈已相当成熟,该平台在测试中取得最快训练时间。
NVIDIA 公布 Vera Rubin NVL72 在 MLPerf Training v6.1 的首次成绩,性能最高达到 Blackwell Ultra 的 2 倍。这是 Vera Rubin 架构在 MLPerf 的首次亮相,NVIDIA 称其 CUDA 软件栈已相当成熟,该平台在测试中取得最快训练时间。
NVIDIA 介绍如何通过后训练 Nemotron 提升模型在特定科学领域的准确率。文章指出,科研智能体正承担更长、更复杂且更依赖视觉的工作流,准确率与推理效率成为关键。
Meta 构建的 Intelligent Delivery 系统通过 ML 驱动、逐步由 AI 智能体运营的自适应优化层,为每个广告请求动态分配算力,自 2017 年至 2026 年上半年在模型与系统进步之上额外带来约 10% 的排序性能提升。
Meta 工程团队介绍 Triton 低层扩展 TLX,在保留 Triton 编程模型的同时加入 warp group 与 cluster 级显式编排,并提出介于 SIMT 与 SIMB 之间的 MIMW 抽象。
亚马逊发布第二代表格基础模型 Mitra-v2,同时支持分类与回归,并在 Hugging Face 以 Apache-2.0 许可开放微调模型和推理、微调代码。
推荐理由:读者可以看到表格基础模型如何靠扩大合成预训练数据的规模与多样性取得提升,而不必加深网络。
Amazon 本周宣布开源 TorchNeuron,这一后端可将 PyTorch 代码转换为可在 AWS Trainium 上执行的操作,已在其他加速器上运行的代码几乎无需改动即可迁移。
Amazon Web Services 团队提出 Priming 方法,以预训练 Transformer 权重为起点构建混合状态空间模型,把混合架构的预训练成本降低 99% 以上,整个流程消耗不到源模型预训练 token 预算的 0.5%。
推荐理由:亚马逊团队提出复用预训练 Transformer 权重改造混合架构的方法,把预训练成本降低 99% 以上,并给出可复现的模型与代码。