阿里发布 Qwen4-Max,训练与注意力机制均有优化
阿里巴巴发布新一代大模型 Qwen4-Max,其主干包含 2.4 万亿参数,每次推理仅激活 710 亿参数,并配有 3280 亿 N-gram 参数充当缓存。该模型采用四通道残差结构并带门控,注意力机制引入 Gated DeltaNet 与 QSA 以降低处理长提示词的硬件需求和基础设施成本。
推荐理由:读者可了解 Qwen4-Max 在残差通道与注意力机制上的改动,以及这些改动带来的 token 消耗下降幅度。
技术方向
让大模型先想再答的能力:思维链、推理模型,数学与逻辑评测上的突破和争议。
7 条精选近 30 天 4条 共收录 36条
阿里巴巴发布新一代大模型 Qwen4-Max,其主干包含 2.4 万亿参数,每次推理仅激活 710 亿参数,并配有 3280 亿 N-gram 参数充当缓存。该模型采用四通道残差结构并带门控,注意力机制引入 Gated DeltaNet 与 QSA 以降低处理长提示词的硬件需求和基础设施成本。
推荐理由:读者可了解 Qwen4-Max 在残差通道与注意力机制上的改动,以及这些改动带来的 token 消耗下降幅度。
TypeSafe AI 于 9 月 15 日发布决策模型 Jev,宣称其响应延迟为 70 至 500 毫秒、每百万 token 收费 0.042 美元且输出 token 免费,并称其不会产生幻觉。
推荐理由:梳理决策模型从 Jev 到 Cloudflare、OpenAI 等跟进者的扩散,并给出延迟、成本与准确率的实测对比。
Google 发布 Gemini Decisions API,由新模型 Gemini Decision 1(gemini-decision-1)驱动,已在 Google AI Studio 的 Gemini API 中开放。
推荐理由:原文给出了定价、延迟和校准误差数据,读者可据此判断这类闭集决策接口适合替代哪些分类器调用。
Ethan Mollick 在 Claude Fable 5.2 公开发布前试用后认为,按「在多数可用电脑完成的智力任务上达到多数人类专家水平」的定义,它已接近 AGI,但仍是「参差不齐的 AGI」。
推荐理由:作者用六个亲手设计的跨领域任务,展示 Claude Fable 5.2 的能力边界与失败模式,可据此理解当前模型离通用智能还差什么。
Reflection 的首个开放权重模型 Beam 于 10 月 16 日正式发布,Ollama 作为 day-zero 合作伙伴限时免费提供。Beam 是 MoE 模型,总参数约 501B、每 token 激活 23B,面向软件工程、推理和长周期智能体任务,上下文窗口为 100 万 token,采用 Apache 2.0 许可。
推荐理由:读者可以了解 Reflection 首个开放权重模型 Beam 的规格、Apache 2.0 许可和 Ollama 上的免费接入方式。
Amazon Web Services 团队提出 Priming 方法,以预训练 Transformer 权重为起点构建混合状态空间模型,把混合架构的预训练成本降低 99% 以上,整个流程消耗不到源模型预训练 token 预算的 0.5%。
推荐理由:亚马逊团队提出复用预训练 Transformer 权重改造混合架构的方法,把预训练成本降低 99% 以上,并给出可复现的模型与代码。
Ethan Mollick 提前测试了首个面向公众发布的 Mythos 级模型 Claude 5 Fable,称其表现明显超过他用过的所有公开模型,能连续执行多页规格任务达十余小时。
推荐理由:作者用等时线地图和 Concord 两个长任务实测 Mythos 级模型,呈现能力跃升与过程不可见之间的张力。