Sophon AutoCV Q&A 大放送：如何加速视觉模型生产和落地（上篇）

在计算机视觉领域，如何迭代现有的视觉模型以保证识别效果，如何更好地应对碎片化的海量长尾模型，一直是需要攻克的难题。星小环将通过两期 Q&A 大放送，解答 Sophon AutoCV 常见的使用问题，并以计算机视觉建模的全流程展示平台如何加速模型的快速构建和落地。

一个需求

客户 Q1：我们想对生产的零部件做缺陷检测和入库计数，但是零件类别很多，现在已知的就有上千类，未来还会有新增。这些新增的类别都需要定制化开发模型吗？难道没有更好的工具可以解决？

星小环：新增的类别都需要重新标注数据，进行模型的定制化开发。Sophon AutoCV 平台提供引导式的建模方式，运营的同学都可以在平台上进行可视化的训练，整个过程不需要算法人员再次参与，可以降低训练迭代模型的成本。

客户 Q2：无论如何都需要重新开发模型，只不过通过你的工具来缩短时间？

星小环：是的，Sophon AutoCV 可以支持您自己来训练模型。如果想直接用模型，我们可以帮您训练好，其实也是基于这个平台。无论哪种方式都可以较快生成新类别的模型，但需要提供样例数据来标注。

客户 Q3：模型训练完后，如何部署呢？

星小环：硬件方面，我们提供软硬一体的方案，如果您自己有硬件，我们可以直接提供软件平台部署。接着需要您的质检设备接入我们的平台，后续模型可以一键部署上线。对于模型有一些业务逻辑的部分，我们提供可视化拖拽数据算子的形式，来搭建您的业务流程。

一个平台

客户 Q4：我们发现很多模型训练完之后还是得要有业务化适配的过程，是否可以在你们平台上面演示一下此过程？

星小环：现在您看到的就是 Sophon AutoCV 平台的首页，主要包括模型生产、模型应用、模型管理，以及 OCR 图文识别。本次演示主要涉及前三个模块，OCR 识别暂不涉及。

模型的应用部分是从模型仓库出发，选择一个版本的模型进行部署。最核心的部分就是模型和业务化适配的过程，我们把这个过程叫做构建场景，即把训练完的模型和业务逻辑串联，形成一个解决具体问题的场景模板，这个模板就可以横向迁移到其他类似的场景当中。

客户 Q5：是否可以演示一下 Sophon AutoCV 从一个模型的生产到落地上线，以及后续模型迭代优化的整体过程？

星小环：考虑到客户的数据隐私，此次演示流程使用公开数据。首先是模型的生产部分，包含创建标注集、选择样本集数据、标注类型，当前支持分割、检测、分类和 OCR 文本标注。

标注集创建成功后，可进入标注空间直接手动标注，也可以选择智能标注或者多人协同标注。

客户 Q6：模型预标注指的是用模型来标注代替人工么？

星小环：是的，可以选择用已经上线的模型先识别一遍，但还是需要人工核查。流程上缩短了从 0-1 标注的时间。

客户 Q7：不知道模型预标注质量怎么样，会不会存在大量错误？

星小环：标注质量其实更多取决于模型的准确度，刚开始人工介入会相对较多，随着模型迭代，后续的人力投入会大幅降低。

客户 Q8：你们是如何保证标注的质量的呢？

星小环：无论是人工标注还是模型智能标注的数据，我们都设置了管理员审核验收的过程，只有验收过的数据才可以入库，来保证标注的质量。

数据标注完成后，进入引导式建模模块，您只需要选择刚刚的数据集配置一些训练参数，静待训练完成即可。过程可以查看训练日志，同时我们也会将训练过程信息通过可视化 board 展示出来，方便您更直观的查看训练过程。

客户 Q9：一些基础的算法是否是平台内预置的？

星小环：是的，我们针对分类、检测和分割任务都预置了 SOTA 的算法框架，如果您有自己的网络结构，也可以根据规范来预置到平台，通过上述可视化的方式进行模型的训练。

客户 Q10：我们希望通过使用内置的算法快速助力业务提升，只是单单使用内置的算法，其准确度有保障吗？

星小环：模型的准确度很大程度上都取决于数据量，这个是最首要的影响因素。Sophon AutoCV 作为一个工具平台，可以帮助您更好地串联起整个模型生产和应用的过程，缩短落地的周期，并且通过平台化的操作，来进行模型的闭环迭代。

客户 Q11：Sophon AutoCV 是如何进行 AI 模型评估，并且保证上线模型的准确度？

星小环：Sophon AutoCV 关于模型的评估过程设计了两个阶段：

第一个阶段是在模型的训练过程，我们切分了部分数据集作为验证集来得到该模型的一些“准确率指标”，比如召回率、mAP。如果您觉得当前指标过低，或想选择新的算法来进行对比，可以重新创建训练作业，直到训练出一个满意的模型，我们把这个过程叫做模型的验证，是为了得到一个还不错的模型上架到模型仓库。

第二个阶段我们叫做模型评测，是在模型上架模型仓库之后，用平台提供的标准测试集进行模型的评测，得到模型的“性能指标”，当然其中也包括准确率的信息。

以上这两个阶段都是为了保证上线模型的性能和准确度。

客户 Q12：是否可以导入外部的模型，上架到模型仓库呢？

星小环：模型仓库是面向星环 AI 方向所有产品线的公共组件，主要支持镜像模型、文件模型以及基于星环自研的推理框架的模型，所以不仅是内部生产的模型可以自动上架，如果您有相应的模型符合我们的接口规范，也可以快速上架统一纳管。模型仓库定位不仅是中转站，用户可以在上面进行模型的版本管理和模型的评测，选择合适的模型进行边缘端部署使用。