跳到正文
Amazon Science·精选 AI 评分75

Amazon Web Services 提出 Priming 方法,无需从头重训即可改造模型架构

Can we change an AI model’s architecture without retraining it from scratch?

AI 导读

Amazon Web Services 团队提出 Priming 方法,以预训练 Transformer 权重为起点构建混合状态空间模型,把混合架构的预训练成本降低 99% 以上,整个流程消耗不到源模型预训练 token 预算的 0.5%。

推荐理由

亚马逊团队提出复用预训练 Transformer 权重改造混合架构的方法,把预训练成本降低 99% 以上,并给出可复现的模型与代码。

来源: Amazon Science · amazon.science