写点什么

万亿级参数

0 人感兴趣 · 1 次引用

  • 最新
  • 推荐

如何基于 MindSpore 实现万亿级参数模型算法?

​​摘要:近来,增大模型规模成为了提升模型性能的主要手段。特别是NLP领域的自监督预训练语言模型,规模越来越大,从GPT3的1750亿参数,到Switch Transformer的16000亿参数,又是一个数量级的增加。

万亿级参数_万亿级参数技术文章_InfoQ写作社区