SiliconANGLE · AI· Maria Deutscher·· 17 小时前精选 AI 评分78
阿里发布 Qwen4-Max,训练与注意力机制均有优化
Alibaba launches Qwen4-Max with training, attention optimizations
AI 导读
阿里巴巴发布新一代大模型 Qwen4-Max,其主干包含 2.4 万亿参数,每次推理仅激活 710 亿参数,并配有 3280 亿 N-gram 参数充当缓存。该模型采用四通道残差结构并带门控,注意力机制引入 Gated DeltaNet 与 QSA 以降低处理长提示词的硬件需求和基础设施成本。
推荐理由
读者可了解 Qwen4-Max 在残差通道与注意力机制上的改动,以及这些改动带来的 token 消耗下降幅度。
来源: SiliconANGLE · AI · siliconangle.com