不再隐瞒了，训练千亿参数模型的法宝，告诉你们

摘要：盘古的训练以「昇腾 AI 处理器」为基座，同时借助了「CANN 异构计算架构」，让硬件算力得以充分释放，大大缩短了训练时间！

本文分享自华为云社区《训练千亿参数模型的法宝，昇腾CANN异构计算架构来了~》，作者：技术火炬手 。

2021 年 4 月，“华为云盘古大模型”一炮走红 AI 人工智能领域。

如果你问：明明明明明白白白喜欢他，但他就是不说，白白喜欢谁？

你的同伴可能还要犹豫 3 秒钟，而盘古却能轻松地回答出：明明！

诸如此类的「中文同词不同义」的快速语义识别也仅仅是它的雕虫小技而已。

领先的语言理解和模型生成能力，这个大网红瞬间被贴上了“最接近人类中文理解能力”、“全球最大中文语言（NLP）预训练模型”各类标签。

标签不是白帖的，在 AI 领域，大智慧就意味着大模型，他背后的“千亿参数”、“TB 级内存模型”绝对是他成功的法宝！

模型大，意味着数据也大，你想到如何训练出这样大的模型了么？

盘古的训练以「昇腾 AI 处理器」为基座，同时借助了「CANN 异构计算架构」，让硬件算力得以充分释放，大大缩短了训练时间！

什么是 CANN？

以提升用户开发效率和释放昇腾 AI 处理器极致算力为目标，昇腾 CANN（Compute Architecture for Neural Networks）是华为针对 AI 场景推出的异构计算架构。它对上支持业界主流前端框架，向下对用户屏蔽系列化芯片的硬件差异，以丰富的软件栈功能满足用户全场景的人工智能应用诉求。

当前 CANN 已经发布到 3.0 的版本，统一编程架构，同时支持推理+训练的端、边、云全量场景，实现三大使能。

使能全场景：通过支持业界主流 AI 框架，支持 14+种主流操作系统，实现一次开发，全场景各种硬件形态和运行环境的灵活部署。

使能极简开发：通过统一编程接口 AscendCL（Ascend ComputingLanguage），为开发者屏蔽底层处理器的差异，支持开发者只需要掌握一套 API，就可以全面应用于昇腾全系列芯片+推理、训练全场景。

使能极致性能：通过软硬协同优化，亲和昇腾的图编译技术，以及超过 1200 个高性能算子，来释放昇腾芯片的澎湃算力。

CANN 的开放能力

CANN 为开发者提供算子开发、模型开发、应用开发的全流程开发体验，可覆盖全场景应用。

算子开发

• DSL 语言开发接口：提供了一套基于内存的开发接口，处理器上的指令映射和调度是自动实现的。开发者仅需要关注算子的数学逻辑计算，不需要了解硬件细节，即可开发出高性能的算子。根据统计可以满足 60%以上算子开发需求。

• TIK 语言开发接口：提供了一套比较完备的基于处理器内部 Buffer 可见的编程语言，开发者可以自行决定搬进搬出数据量的大小，从而充分发挥芯片的能力，提升开发算子的性能。

模型开发

• 支持多种模型开发框架 MindSpore，TensorFlow, PyTorch, ONNX 等

• 支持通过标准化的 Ascend IR(Intermediate Representation)接口隔离上层框架差异，进行直接构图和模型开发

应用开发

• 提供一套标准的 AscendCL 编程接口，提升用户 APP 编程效率

CANN 的硬核技术

• 高性能算子库：支持包括 TensorFlow、Pytorch、Mindspore、Onnx 框架在内 1200+算子，开发者直接基于内置算子即可开发模型。

• 自动融合技术： 支持基于算子、子图、SCOPE 多维度的自动融合，支持动态 DSL 融合，可有效减少计算节点，缩短计算时间，让昇腾 AI 处理器瞬间加速。

• 异构部署调度框架：充分利用昇腾芯片的异构执行单元，将不同的计算任务分配给最合适的计算引擎，高效协同异步流水，提升计算任务整体效率。

• 高效的内存生命周期管理算法：兼顾内存的充分复用以及数据交换的效能，实现资源与效率的均衡。

• 预置的业界主流模型库：华为昇腾 Model  Zoo 提供 100+主流模型的代码以及相应的调优参数 example，为开发者提供货架式的参考实现，详细信息参见：https://www.hiascend.com/software/modelzoo
  

• 高性能的图下沉执行框架：将所有计算下沉到芯片，减少 Host CPU 与芯片之间的交互时间，实现高性能的训练和推理。

• 高性能动态图调度：支持基于异步流水的单算子执行框架，支持灵活的 H2D、D2H 交互，解决 PyTorch 等框架下动态图模式的高性能运行问题。

• 业界领先的智能调优：支持基于强化学习、遗传算法、CostModel 等多种智能调优算法，提供算子级或者图级调优选择，为用户提供自动的极致性能调优体验。

CANN 的 5.0 版本会给你带来更多想象，了解更多信息，请访问昇腾社区。

点击关注，第一时间了解华为云新鲜技术~