专家解惑 | 关于华为云盘古大模型，你想问的都在这里~

​​摘要： 针对外界对盘古大模型充满了好奇，参与大模型开发的两位华为云专家来为大家答疑解惑。

本文分享自华为云社区《专家解惑 |关于华为云盘古大模型，你想问的都在这里~》，原文作者：HWCloudAI。

4 月 25 日，华为云发布盘古系列超大规模预训练模型，包括 30 亿参数的全球最大视觉（CV）预训练模型，以及与循环智能、鹏城实验室联合开发的千亿参数、40TB 训练数据的全球最大中文语言（NLP）预训练模型。

​其中，盘古 NLP 大模型由华为云、循环智能和鹏城实验室联合开发，具备领先的语言理解和模型生成能力：在权威的中文语言理解评测基准 CLUE 榜单中，盘古 NLP 大模型在总排行榜及分类、阅读理解单项均排名第一，刷新三项榜单世界历史纪录；总排行榜得分 83.046，多项子任务得分业界领先, 向人类水平（85.61）迈进了一大步。

外界对盘古大模型充满了好奇，在华为开发者大会（Cloud）期间，参与大模型开发的两位华为云专家回答了以下几个大家关心的问题。

谢凌曦博士专访

​Q:作为一个开发者，请问这些预训练模型的易用性如何？使用成本有多高？

谢凌曦：预训练模型设计的目的就是为了让大家降低使用成本。模型的预训练过程，成本是比较高的，但这个成本不需要开发者来承担。而在使用这些大模型的时候，它本身的易用性会使得使用成本进一步降低，达到一个比较合适的水平。比如说，我们会开发出一些比较通俗易懂的 Pipeline，如果你是有一定基础的开发人员，你可以从我们的 Pipeline 当中去做更多的定制化的开发，更好地去释放我们预训练模型的能力。如果你只是一个 AI 开发小白，想用大模型去做 AI 简单的开发，我们也会给你更加通俗易懂的界面，让大家能够用一些拖拉拽的方式使用盘古大模型。总体来讲，大家在使用预训练模型的时候，计算时长、调参所需要重复的代价等都会被降到很低，总体来讲是对开发者非常友好的。

Q：对于新入门计算机视觉的人来说，需要掌握什么哪些知识才能快速进入到学习和研发中？

谢凌曦：人工智能、计算机视觉，经过几十年的发展，到现在已经拥有很庞大的知识体系。如果一个初学者想要把这些东西都了解以后再开始做研究，效率会稍微有点低。我给大家的建议是，你在学习过程当中，可以先找准一个问题。刚开始的时候，这个问题可能是相对初级的问题，但一定有具体的场景。比如想做弱监督学习，一般就是遇到某个实际的问题，它确实需要弱监督算法。但是这个时候我是不是一定要掌握全监督才能去做弱监督呢？并不是这样的。你可以先去查阅一些资料，了解当前的弱监督学习方法，它的基线是什么，它的前沿在哪里。然后你就可以开始做一些简单的实验。实验的过程当中，一般会遇到一些困难或者一些疑惑。解决这些困难和疑惑的过程，一般就会把你引导到它的基础，比如说全监督到底是怎么做的。当你有了更多基础以后，回过头来，也会发现你对当前做的算法有了一个更好的理解。

所以我的建议是大家可以找一本机器学习、计算机视觉这类介绍比较深入的教材去看。但是不要局限于这个教材：一边做具体的课题，一边去学习知识，效率会比较高。

张晓鹏博士专访

​Q：盘古 CV 大模型有哪些成功的落地？跟业界相比处在什么位置？

张晓鹏：视觉预训练 CV 大模型，结合相关流程化开发，已经在华为内部以及其他合作项目上，有 100+成功落地，这些方向涵盖了各行各业，包括工业视觉、网络审查、零售商超，以及医疗等场景，都获得了一些相较于之前不使用预训练大模型更高的结果。在某些场景上，比如刚才提到的遥感影像分割，我们通过设计针对遥感影像的预训练算法，在没有增加额外标注代价的情况下，达到了最多 12%的分割精度提升。还有另外一个比较有意思的现象，我们使用超大规模图像进行的预训练模型具有更好的可迁移性，即直接把这样一个模型，迁移到了工业质检的缺陷上进行推理，我们非常欣喜地发现，我们在下游数据集上没有进行任何微调，但是在工业缺陷检测上，获得了比之前我的模型不停地高度的优化，甚至利用下游的数据微调更好的结果，这个结果基本上会高出 3 到 4 个百分点。这个启发我们，模型数据一旦够多，其实它的泛化能力能够获得更好的保障。

第二，我们是国内最早做视觉预训练大模型的公司之一。在国外是 Facebook 和谷歌从 2019 年开始在图像上做了一些应用。我们视觉预训练模型大概从 2019 年底的时候就开始了，通过自研的一些列改进算法，我们首次在基于 imagNet 的无监督预训练模型线性分类精度上达到了全监督基线的水平，同时在小样本学习上大大领先现有技术，这些都是业界领先的成果。

Q： 华为的预训练是采用什么类型数据和学习任务？大模型如何保证端侧性能？

张晓鹏：针对视觉图像不同角度，以及不同场景的变化，我们采取的方法非常简单。一，我们可能有海量数据集，这个数据集规模已经达到了亿级甚至十亿级这样的规模，我们相信这个海量的数据集，它能够建模，我们实际场景图像的方方面面。另外一个，我们采取了什么样的学习方式。其实它的一个核心思想，就是 2019 年开始，比较火的基于全局的对比度自监督学习方法。

当然我们在这上面做了很多改进。包括如何来利用弱标签信息，如何把全局的信息拓展到局部来更好建模局部相关关系。同时也会呼应刚才提到的，如何处理不同视角，不同尺度图像问题，怎么来让它进行高效的建模，这里面就是让它进行不同的数据增强，我们在预训练算法里面，集成了十余种数据增强方法，让它通过不同的数据增强，使得整个模型具有针对不同数据增强的不变性。

到目前为止，我们在一个大模型，搭载模型蒸馏、抽取以及行业大模型，我们现在已经适配了大概十余种预训练模型。而这十余种模型都是通过我们一个大模型的抽取，蒸馏所得到的，它在相应的行业上，得到了非常大的精度提升。同时也极大的减少了标注代价以及模型迭代周期。

Q：华为的预训练模型是如何结合不同行业知识，解决标注数据大的问题？

张晓鹏：举一个我们在 HDC Cloud 上发布的国网电力智能巡检的例子，这就是非常典型的利用盘古 CV 大模型解决行业知识。

在国网电力巡检模型开发的过程中，它有海量的数据，标注非常困难，我们做了什么呢？通过我们的视觉预训练算法，在海量的巡检数据上进行预训练，这个预训练是利用了无人机巡检的数十 TB，上百万规模的数量，进行预训练，它的预训练可以看到我们非常多的数据，它的内在分布。我们的大模型，模型参数越大，也看了更多的数据，所以说它能够更好的建模无人机巡检过程中的图片的细微差异。

利用我们的视觉预训练大模型，它能够提供更好的表征以后，因为它的缺陷和正常样本的表征能力更强，我们在标注代价上，基本上减少了 80%以上，这一块整个在人力上是一个非常大的提升。除了减少标注，我们一个模型可以适配我们电力行业一百多种缺陷，从而让模型迭代周期大大减少，整个迭代效率大概提升了 10 倍，我们在每次迭代过程中反馈给人需要标注的整体的工作量就会越少，通过这两种模式，我们实现了在电力行业方面，利用我们视觉预训练模型，极大的提升了我们的开发效率。

点击关注，第一时间了解华为云新鲜技术~