跳到正文
10月13日周二
  1. Amazon Science75

    Amazon Web Services 提出 Priming 方法,无需从头重训即可改造模型架构

    Amazon Web Services 团队提出 Priming 方法,以预训练 Transformer 权重为起点构建混合状态空间模型,把混合架构的预训练成本降低 99% 以上,整个流程消耗不到源模型预训练 token 预算的 0.5%。

    推荐理由:亚马逊团队提出复用预训练 Transformer 权重改造混合架构的方法,把预训练成本降低 99% 以上,并给出可复现的模型与代码。