阿里发布 Qwen4-Max,训练与注意力机制均有优化
阿里巴巴发布新一代大模型 Qwen4-Max,其主干包含 2.4 万亿参数,每次推理仅激活 710 亿参数,并配有 3280 亿 N-gram 参数充当缓存。该模型采用四通道残差结构并带门控,注意力机制引入 Gated DeltaNet 与 QSA 以降低处理长提示词的硬件需求和基础设施成本。
推荐理由:读者可了解 Qwen4-Max 在残差通道与注意力机制上的改动,以及这些改动带来的 token 消耗下降幅度。
阿里巴巴发布新一代大模型 Qwen4-Max,其主干包含 2.4 万亿参数,每次推理仅激活 710 亿参数,并配有 3280 亿 N-gram 参数充当缓存。该模型采用四通道残差结构并带门控,注意力机制引入 Gated DeltaNet 与 QSA 以降低处理长提示词的硬件需求和基础设施成本。
推荐理由:读者可了解 Qwen4-Max 在残差通道与注意力机制上的改动,以及这些改动带来的 token 消耗下降幅度。