阿里发布 Qwen4-Max,训练与注意力机制均有优化
阿里巴巴发布新一代大模型 Qwen4-Max,其主干包含 2.4 万亿参数,每次推理仅激活 710 亿参数,并配有 3280 亿 N-gram 参数充当缓存。该模型采用四通道残差结构并带门控,注意力机制引入 Gated DeltaNet 与 QSA 以降低处理长提示词的硬件需求和基础设施成本。
推荐理由:读者可了解 Qwen4-Max 在残差通道与注意力机制上的改动,以及这些改动带来的 token 消耗下降幅度。
阿里巴巴发布新一代大模型 Qwen4-Max,其主干包含 2.4 万亿参数,每次推理仅激活 710 亿参数,并配有 3280 亿 N-gram 参数充当缓存。该模型采用四通道残差结构并带门控,注意力机制引入 Gated DeltaNet 与 QSA 以降低处理长提示词的硬件需求和基础设施成本。
推荐理由:读者可了解 Qwen4-Max 在残差通道与注意力机制上的改动,以及这些改动带来的 token 消耗下降幅度。
阿里千问团队发布 Qwen4 代首款模型 Qwen4-Max,采用 2.4T 参数稀疏 MoE 骨干、每 token 激活 71B,支持文本、图像、视频输入和 1M token 上下文,仅通过 QwenCloud API 等托管渠道提供,不开源权重。
推荐理由:读者可据此了解 Qwen4-Max 的架构改动、16 项基准中的强弱项与 API 降价幅度。