跳到正文
SiliconANGLE · AI· Maria Deutscher·· 17 小时前精选 AI 评分78

阿里发布 Qwen4-Max,训练与注意力机制均有优化

Alibaba launches Qwen4-Max with training, attention optimizations

AI 导读

阿里巴巴发布新一代大模型 Qwen4-Max,其主干包含 2.4 万亿参数,每次推理仅激活 710 亿参数,并配有 3280 亿 N-gram 参数充当缓存。该模型采用四通道残差结构并带门控,注意力机制引入 Gated DeltaNet 与 QSA 以降低处理长提示词的硬件需求和基础设施成本。

推荐理由

读者可了解 Qwen4-Max 在残差通道与注意力机制上的改动,以及这些改动带来的 token 消耗下降幅度。

来源: SiliconANGLE · AI · siliconangle.com

事件后续 · 1

查看事件全部