跳到正文
  1. Amazon Science60

    亚马逊发布表格基础模型 Mitra-v2,扩大合成预训练规模

    亚马逊发布第二代表格基础模型 Mitra-v2,同时支持分类与回归,并在 Hugging Face 以 Apache-2.0 许可开放微调模型和推理、微调代码。

    推荐理由:读者可以看到表格基础模型如何靠扩大合成预训练数据的规模与多样性取得提升,而不必加深网络。

  1. Amazon Science75

    Amazon Web Services 提出 Priming 方法,无需从头重训即可改造模型架构

    Amazon Web Services 团队提出 Priming 方法,以预训练 Transformer 权重为起点构建混合状态空间模型,把混合架构的预训练成本降低 99% 以上,整个流程消耗不到源模型预训练 token 预算的 0.5%。

    推荐理由:亚马逊团队提出复用预训练 Transformer 权重改造混合架构的方法,把预训练成本降低 99% 以上,并给出可复现的模型与代码。

已经到底了