滴普技术荟：某工业产品内部结构尺寸图像测量和缺陷检测分析

需求背景

目前，某工业产品是立体实心结构，内部质量抽检依靠扫描设备，从三个面对内部进行扫描成像后人工判读，但判读自动化程度比较低，测量尺寸需要在专业软件上人为操作鼠标进行图像测量，而检测缺陷则需要将扫描图像在大屏显示器上依靠经验丰富的工程师用肉眼仔细辨别。这样的操作导致效率低下，各个员工之间的评判标准不一，在产能扩增的环境下将会成倍的扩大工作量。因此，开发一套智能化检测系统迫在眉睫。



根据客户的需求，我们提出一套完整的解决方案，开发了集AI检测和数据中台的系统平台，实现了与客户业务系统的数据对接，完成了从图像输入、AI测量检测、数据存储和分析、报告输出的全部流程，为客户节省了大量的人力物力，为工业4.0和智能制造助力。



系统平台方案从监听图像数据产生开始，自动AI检测和数据存储及分析，并自动将报告结果输出，是一套自动化和智能化的专业解决方案，如图1所示。AI检测以深度学习为主，传统计算机视觉为辅，对产品3D结构的CT扫描图像进行结构尺寸测量和异常缺陷检测，并将图像中的缺陷按照其三维空间位置关系进行3D聚合，给出缺陷的立体坐标。检测的结果以分析报告的形式自动接入客户业务系统进行流转，并存储在数据库内。根据数据库内的数据，建立起缺陷数据分析平台看板，在日、周、月、季度、年份等时间维度上进行数据统计分析，可以直观地查看缺陷集中的主要位置，将有助于客户改进工艺并快速进行产品分析和迭代。

AI检测方案

由于检测的是产品的内部结构，无法拆解，而依靠CT扫描仪能探究其内部的三维形貌，实现对产品内部结构的直观观察。通过CT扫描仪，能以固定步长进行持续采集，生成以XYZ三坐标的一系列三维层析图像，检测对应图像时，能映射到三维空间，方便缺陷定位。



但是，CT扫描仪对模组及尺寸较厚的产品，由于穿透力的原因，导致噪声过大，特征边界不清晰等问题。采用传统机器视觉方式进行检测，往往无法达到实用效果。 

本检测方案实现了在清晰度欠佳的图像上，对阴阳极波动的高低差及其之间的距离、外观尺寸、JR内外圈间距、JR拐角变形尺寸5种关键尺寸的测量和焊渣、间隙、断裂、褶皱4种缺陷的检测功能。 

涉及的关键技术有图像处理、字符识别、目标检测、边缘提取、图像分割以及3D聚合等。 

具体介绍如下：

图像处理: 由于输入的图像清晰度不一、缺陷不明显并含有噪声，在AI检测之前需要通过去模糊、去噪以及对比度增强等图像预处理方法提高图像质量。 

字符识别：由于涉及到尺寸测量和缺陷大小，首先要确定比例尺——每像素代表的实际尺寸，通过字符识别可以自动识别图像上的数字即可计算比例尺。 

目标检测：利用目标检测可以实现关键位置的定位测量和异常缺陷检测。 

边缘提取：在目标检测定位失效的情况下，利用边缘滤波响应提取边缘进行辅助测量。 

图像分割：对形状不规则的测量区域和缺陷，利用图像分割将测量区域和缺陷分割出来，再进行尺寸测量和缺陷信息提取。 

3D聚合因：图像上所检测的缺陷大小位置不同，需要通过立体3个平面图像按照缺陷位置关系进行3D空间聚合重建，将在不同平面上的同一个缺陷聚合成一个缺陷，避免缺陷过多影响判断分析。 下面将针对JR内外圈间距和JR拐角变形测量以及焊渣检测算法进行分析。

JR内外圈间距和JR拐角变形测量原理

需求描述：

JR内外圈间距：JR圆心到圆弧切线最顶点的距离；

拐角变形最小值Lmin和最大值Lmax：由圆心起始在0，±30，±45，±60方向的射线，与圆弧交点，交点与圆心可得出7个距离，找出其中的最小和最大值。

项目难点：

确定JR圆弧的个数、弧线位置和圆心，项目实施过程及效果图如图2所示。





处理思路：

（1）图像预处理，输入JR顶点在上的竖直放置原图；

（2）分割模型可以很好的分割所有JR区域，再做预处理，填充空洞及圆滑边缘；

（3）计算JR跳变点，在Mask图像的顶部区域X方向取小矩形，平移小矩形，统计每个矩形内非零点数量，基于多个圆弧相交处形状特点，采用以下方式定位跳变点：gapValue = nonZeros[i-1] - nonZeros[i] + nonZeros[i+1] - nonZeros[i]。如果gapValue大于设定阈值和不在Mask边界附近时，认为出现连接点，由其分割出单个JR Mask，并计算JR的个数；

（4）分割单个JR区域圆弧区域，使用目标检测圆心位置。当目标检测失败时，基于圆弧拟合计算圆心；

（5）基于单个JR Mask计算圆弧顶部与水平方向切线的切点，即为最外圈顶点位置，计算JR内外圈间距；

（6）基于单个JR Mask和圆心位置，计算各方向（0，±30，±45，±60）上的圆弧边界点（由圆心向各方向画射线，射线与Mask图像的交集终点即为边界点），并分别计算其与圆心的距离，筛选极值位置，计算极小极大值，方案流程图如图3所示。

焊渣缺陷检测

需求描述：检测在焊接过程中可能掉落在产品内部的焊渣。



项目难点：确定焊渣的位置和大小，容易受到内部结构和图像分辨率的影响，检测精度要求高。

处理思路：

方案1

流程示意图如图4所示。直接利用目标检测网络，通过打标大量含有焊渣的图像进行模型训练，并依据该模型的检测结果输出位置和大小的信息检测结果如图6所示。图6(中)的红色框(编号：[1][2])表示正确检测出焊渣缺陷，黄色框(编号：[3][4][5][6][7])表示过检(非焊渣缺陷被检测为焊渣)，蓝色框(编号：[8])表示漏检。经过大量数据的测试之后，会出现较多的过检和漏检问题。



问题分析如下：

(1)  电芯外壳上的焊点和外部网状结构（如编号：[3][4][5][6] )与焊渣特征相似，造成过检；(2) 电芯图像质量差，出现的噪点(如编号：[7])与焊渣相似，造成过检；

(2)  电芯内多个焊渣靠近，检测容易产生漏检；

(4) 电芯内焊渣和内部结构紧密靠近在一起，焊渣被结构遮挡一半(如编号：[8])，造成漏检。



方案2

针对方案1检测时出现的问题，将目标检测网络改为图像分割网络，方案流程如图5所示。训练分割模型，得到焊渣区域的二值图像，提取二值图像的连通域位置和大小即为焊渣缺陷。经过大量测试，能够大部分解决方案1上出现的(2)、(3)、(4)的过检和漏检情况。对于(1)中的过检，通过客户已知的先验知识，提取预判焊点和网状结构的区域位置，并认为外壳上的缺陷对电芯的安全性影响较小。最终经过10多天近十万张图像的测试，检测准确率高达95%，达到预期效果。



IV算法处理结果：



对比图6(中)和(右)的结果可以看出，方案1中的过检在方案2中全部检测为正常，漏检位置上检测出焊渣缺陷，从结果来看，方案1优化为方案2行之有效，并且检测结果得到了提升。

总结

经过在实际项目的验证，本AI算法方案在尺寸测量上的精度达到±0.3mm，而在褶皱和焊渣缺陷检测的准确率高达95%以上，在断裂和间隙缺陷的上的准确率也高达90%以上，远远超过人工测量的精度和检测的准确率。该AI算法内的模型利用了本公司的XMind平台进行打标、训练和测试。



经过算法前端和后端工程师们的不懈努力，系统最终稳定运行在客户生产现场。系统将客户的检测方式从人工肉眼检测转变为AI检测，还提供了数据分析平台和模型版本迭代，延长了系统的生命周期。该系统为客户提升了检测效率，节省了大量的人力物力，为工业4.0和智能制造助力。

了解更多产品信息可登录：http://datasink-sensors.deepexi.top/t/ta