如何基于 MindSpore 实现万亿级参数模型算法？

华为云开发者联盟

2021-06-23

​​摘要：近来，增大模型规模成为了提升模型性能的主要手段。特别是NLP领域的自监督预训练语言模型，规模越来越大，从GPT3的1750亿参数，到Switch Transformer的16000亿参数，又是一个数量级的增加。