滴普技术荟：基于深度学习的云边一体化 OLED 屏缺陷自动光学检测技术

一、要解决的主要问题



OLED (Organic Light-Emitting Diode)又称为有机电激光显示、有机发光半导体， OLED显示器很薄很轻，因为它不使用背光。OLED显示器还有一个最大为170度的宽屏视角，其工作电压为二到十伏特(volt，用V来表示)。由美籍华裔教授邓青云(Ching W. Tang)于1979年在实验室中发现。OLED显示技术具有自发光、广视角、几乎无穷高的对比度、较低耗电、极高反应速度等优点。但是，作为高端显示屏，价格上也会比液晶电视要贵。OLED不需背光源、对比度高、厚度薄、视角广、反应速度快、可用于挠曲性面板、使用温度范围广、构造及制程较简单等优异之特性，被认为是下一代的平面显示器新兴应用技术。



液晶屏依次显示黑色、白色、灰色、红色、绿色、蓝色等多种颜色，当显示每种颜色时，通过工业相机对手机屏幕进行拍照。然后通过图像分析技术进行缺陷判断，发现所存在的点类缺陷（异物点、黑点、白点、灰点、亮点、满天星等）、线类缺陷（暗线、亮线等）、Mura类缺陷（黑白团、白印、黑影、条纹、斜纹等）以及其他如漏光、显异、表面划伤、污染等特殊缺陷，代替人工检测，大大提高生产效率和生产自动程度，帮助LCD企业降低生产成本。



二、当前主流检测技术



OLED屏幕主要存在点线缺陷、外观缺陷、Mura缺陷识别。其中点线缺陷、外观缺陷由于特点明显，当前不管是机器视觉检测、影像亮度⾊度检测，还是人工检测，都能较容易识别，准确率可达到99.9%。然而Mura缺陷普遍具有对比度低、边缘模糊、形状不固定及肉眼难以判定等特点，而且极容易受到背景干扰的影响，因此Mura缺陷检测是业界的一大难题。当前公司和研究机构都在研究如何通过提高工业相机分辨率，图像预处理技术、优化算法等来提高Mura缺陷检测水平。



当前OLED质量检测在技术和方式有三类：机器视觉检测、影像亮度⾊度计、人工检测。机器视觉检测技术融合时下热门的深度学习等AI技术，有越来越多的产品和项目已经落地，是未来发展的主流。但是存在时延高，性能较差等问题。影像亮度色度计当前也有部分工厂产线在使用，具备重复检测效率高、人眼匹配度好等优点，但是存在灵活性差，成本高等缺点。人工检测因为效率低、主观随意性强已经被淘汰，只有少部分产线还在采用人工检测这种传统的方式。



n 影像亮度色度计检测

影像亮度⾊度计检测是基于 CCD 的影像系统，经过校准之后，对光线、亮度和⾊彩的反应与CIE 模型定义 的标准大体一致，能近似获得人眼感知效果。该方案由三部分组成：(1) 科研级影像亮度⾊度计系统；(2) 基于 PC 的测量控制软件， 其不仅控制影像亮度⾊度计，还控制待测试设备上的测试影像显⽰；(3) ⼀套能够运⾏各种测试的影响分析函数。该方案较为成熟，目前一部分OLED厂商在使用该检测技术。该方案具备与人眼感知类似的检测效果，具有缺陷固定情况下重复检测效率高的优点，但是存在检测灵活性差，成本高，时延大等缺点。



n 机器视觉检测

机器视觉检测包含图像预处理系统、判别系统、深度学习平台，图片存储系统，综合运用了图像预处理、缺陷检测算法、机器学习、深度学习等AI技术。先通过工业相机获取OLED屏幕照片，再使用图像预处理技术凸显缺陷特征，通过训练好的模型算法进行识别，从而达到代替人工检测的目的。具备效率高，成本低，灵活性强的优点。已有越来越多的工厂和产线将机器视觉技术用于OLED屏幕检测中，机器视觉检测将会是未来的趋势。



然而传统机器视觉检测当前也面临图像预处理不能有效凸显mura缺陷，从而导致Mura缺陷漏检率高等问题，另一方面，由于检测Mura缺陷要求图片具备高分辨率，因此单张图片将达到100M，甚至更大，导致图像预处理，缺陷识别时延长等问题。上述问题一定程度上制约了机器视觉检测的发展。

通过恰当的图像预处理，有效抑制周期背景干扰，凸显Mura的缺陷特征，是后续模型识别的关键。模型算法负责识别并表示Mura缺陷，因此图像预处理和模型算法是机器视觉检测中极为核心的技术。



n 人工检测

当前只有极少部分厂家还在使用人工检测方式，众所周知，人工检测存在主观性、随意性、效率低，成本高、误差大等缺点，由于Mura缺陷低对比度、边缘模糊、形状不固定等特性，导致人眼无法识别。所以人工检测已经是濒临淘汰的最原始检测方式。



三、技术创新的方向

3.1 技术环节创新

（1）由传统图像处理算法到深度学习算法进行检测

传统的机器学习在特征提取上主要依靠人来分析和建立逻辑，而深度学习则通过多层感知机模拟大脑工作，构建深度神经网络（如卷积神经网络等）来学习简单特征、建立复杂特征、学习映射并输出，训练过程中所有层级都会被不断优化。在具体的应用上，例如自动ROI区域分割；标点定位（通过视觉可灵活检测未知瑕疵）；从重噪声图像重检测无法描述或量化的瑕疵如橘皮瑕疵；分辨玻璃盖板检测中的真假瑕疵等。随着越来越多的基于深度学习的机器视觉软件推向市场（包括瑞士的vidi，韩国的SUALAB，香港的应科院等），深度学习给机器视觉的赋能会越来越明显。



（2）一体化检测设备

机器视觉产业链分为三类：上游部件级市场、中游系统集成和整机装备市场、下游应用市场。上游部件级市场，主要包括光源、镜头、工业相机、图像采集卡、图像处理软件等提供商，根据中国机器视觉产业联盟（CMVU）调查统计，现在已进入中国的国际机器视觉品牌已近200多家，中国自有的机器视觉品牌也已有100多家（如海康、华睿、盟拓光电、神州视觉、深圳灿锐、上海方诚、上海波创电气等），机器视觉各类产品代理商超过300家（如深圳鸿富视觉、微视新纪元、三宝兴业、凌云光、阳光视觉等）。国内中游的系统集成和整机装备商有100多家，他们可以给各行业自动化公司提供综合的机器视觉方案，如凌云光、微视新纪元、嘉恒、凌华、阳光视觉、鼎信、大恒图像等.机器视觉下游，主要是给终端用户提供非标自动化综合解决方案的公司，行业属性非常强，核心竞争力是对行业和生产的综合理解和多类技术整合。



由于工厂IT自动化能力较差，产线情况复杂，各工厂对OLED屏幕质量检测标准也不一样，往往没有标准的设备和方案能满足产线检测需求。因此市场对机器视觉下游供应商的呼声越来越高，客户希望能得到解决个性化需求，适合产线检测使用的定制化方案和产品。这就需要供应商能取长补短，集成各级市场的产品和方案，推出真正能满足检测需求的软硬结合的一体化检测设备。



（3）高性能低延迟

当前机器视觉方案，大多采用集中式的深度学习、模型训练、判别服务中心，产线图像采集终端采集到照片后，都统一传输到判别服务中心进行检测识别，再由判别服务中心将检测结果返回给客户端。由于单张图像数据量大，例如某手机屏幕外观检测项目其图像经压缩后，都达到30M，而一个手机需要拍摄8张照片，当众多产线同时检测时，统一传输至判别服务中心，将产生两个问题。第一，判别服务中心负载过高，响应慢，甚至因为负载过高，导致判别服务崩溃，将产生巨大的损失。第二，大量照片传输至判别服务中心，将严重产生网络拥塞，导致性能差，延时高。



为了解决性能，延时高的问题，业内最新的科研已聚焦于边缘计算。边缘计算使用边云协同的理念，利用云端强大的算力用来做图像存储和模型训练，训练好的识别检测模型实时推送至边缘计算设备，图像数据可直接在边缘计算设备处得到处理和识别，大大提高了性能和降低了延时，能有效应对检测速度快，产线多的场景。



不管是人工智能，无人驾驶，还是本项目聚焦机器视觉检测行业，边缘计算将作为新技术和新理念，广泛应用于各应用领域。



（4）图像处理和模式识别发展迅速

图像处理上，随着图像高精度的边缘信息的提取，很多原本混合在背景噪声中难以直接检测的低对比度瑕疵开始得到分辨。模式识别上，本身可以看作一个标记过程，在一定量度或观测的基础上，把待识模式划分到各自的模式中去。图像识别中运用得较多的主要是决策理论和结构方法。决策理论方法的基础是决策函数，利用它对模式向量进行分类识别，是以定时描述（如统计纹理）为基础的；结构方法的核心是将物体分解成了模式或模式基元，而不同的物体结构有不同的基元串（或称字符串），通过对未知物体利用给定的模式基元求出编码边界，得到字符串，再根据字符串判断它的属类。在特征生成上，很多新算法不断出现，包括基于小波、小波包、分形的特征，以及独二分量分析；还有关子支持向量机，变形模板匹配，线性以及非线性分类器的设计等都在不断延展。



（5）智能检测产线

随着国家工业互联网、工业4.0的号召，国内工厂对自动化的呼声越来越高。一些有实力，有规模的工厂，已在布局和推进智能检测产线。智能检测产线具有高度自动化，智能化等特点。然而国内工业智能检测产线的公司技术水平相较国外还有一定的差距， 不过由于国内和国外（例如德国）制造行业国情、环境、自动化发展水平不一样，就算是国外先进的机器视觉检测供应商，也不能很好满足国内工厂智能检测产线的需求。因此如何综合使用多方面技术，尽快推动工厂智能检测产线落地，是业界同仁共同努力的愿景。



3.2 算法和架构的创新

（1）SVD 分解、Gabor 滤波组、迭代差影法相结合的图像预处理技术

通过对各种背景抑制理论的总结，并且根据业内最新的研究成果。发现采用SVD 分解、Gabor滤波组、迭代差影法相结合的处理方法，既避免了SVD 的非水平垂直 方向处理能力的缺漏，又降低了 Gabor 滤波中的计算量，兼顾处理效果和处理效率。迭代差影法进行中值滤波和图像增强处理后，对图像进行多次像素模板提取和差影运算，获取到对比度较高的缺陷图，从而可有效抑制背景对Mura缺陷的识别干扰，凸显Mura缺陷特点，从而为下一步机器学习和识别提供有效条件。



（2）边云协同

传统机器视觉检测图像采集端获取到图片数据，需要上传到云端，或者通过局域网传到图像预处理中心和判别服务器进行处理和识别，识别结果再返回到客户端。由于照片数据量大，如果产线数量多，集中式的图像预处理和判别服务中心将受到严峻的性能挑战，延时大，降低了检测效率。边云协同，公有云或者私有云机器学习平台负责模型训练、调优、发布、管理、评价和标注系统等功能，训练好的模型可下发至边缘设备，这样工业相机采集的图片可直接就近进行识别和返回识别结果，大大降低了时延，分布式计算的特点，也解决集中式判别中心和图像处理中心负载大性能低的问题，能有效适应产线多的应用场景，大大提高了检测效率。



（3）中台理念，平台能力服务化，灵活性好

借鉴阿里中台战略，将机器学习框架、深度学习框架、模型训练、模型调优、模型评价，模型发布、模型生命周期管理，人工标准、半自动标注、缺陷统计等共性通用能力抽象集成，形成模型中心、标准中心、智能学习中心、统计中心等领域能力，上层应用只需调用接口即可实现相应功能，避免重复开发，重复建设，除了支持OLED屏幕检测，其他凡是机器视觉检测领域，都可以基于滴普AI中台（Xmind），快速孵化相应视觉检测产品，灵活性非常好。





滴普Xmind工业质检平台应用架构



四、实践的关键技术



4.1 采用的关键技术

1）Mura缺陷检测

由于目前该行业的检测主要还是依靠人工裸眼检测，检测结果受人主观判别影响较大，视觉疲劳易影响缺陷的检测和分析，并且由于缺陷判断缺乏统一的量化标准，缺陷的类型各异，只用用传统的机器视觉算法难以保证多分类检测，对于新发现的缺陷类型，需要重新设计特征检测算法。目的就是提供一种快速、高鲁棒性的在线检测的Mura缺陷的方法，并能进行不同Mura缺陷类型的多分类判别。



2）抗表面异物干扰

由于在屏的检测环节中，屏上的异物如清洁布残留的毛丝，大小的灰尘颗粒等附着在屏的表面，在拍摄的图像中此类异物与正常的缺陷图容易混杂在一起被检出，影响了整体的缺陷检出指标。本项目要解决屏表面异物带来的图像干扰问题。



3）外观缺陷定位技术

对外观缺陷定位要区分膜下缺陷和膜上缺陷，单纯从某一角度上可能难以区分膜上与膜下的位置区别，需要综合不同打光角度和图像之间的位移特点来区分膜上与膜下的关系来解决此问题。



4）点线缺陷

目前行业中，现有算法对于点线类缺陷的识别普遍具有，缺陷颗粒大小不一，缺陷信号较弱，缺陷和背景颜色相近等问题，不利于缺陷检出。目的就是解决现有的图像识别算法对于以上问题的不鲁棒性，设计一种通过背景差异积分来检出的图像识别算法。



5）图形发生器

图形发生器一般是基于图像信息生成单元，图形存储单元，电路逻辑控制与驱动单元，OLED显示屏结合一起的图形发生设备，便于根据需要生成不同类型的缺陷图形，在图形发生器的软件控制端生成相应的缺陷样本图形，有助于补充缺陷样本的多样性，同时便于检测系统的测试。本项目要解决如何通过软件生成不同种类的缺陷，而且要在屏上进行上电显示。



6）缺陷自动光学检测设备集成：

OLED屏检测的设备需要综合自动化设备，光学打光成像设备和配套算法软件等部分集成才能形成整体的检测效果，对于如何选取合适参数的相机和光源、相机与光源的位置关系，摄像触发时机等都是本项目要解决的关键技术问题。



4.2 实现的具体步骤

1）Mura缺陷检测步骤

一种基于深度学习的Mura缺陷检测方法，所述方法的具体步骤为：

步骤1，图像采集：通过相机采集屏幕的灰度图像I，传输至缺陷检测处理设备；

步骤2，预处理：对屏幕图像I采用梯度阈值的边缘检测法，获取屏幕的边缘，按边缘分割，得到待检测屏幕图像P；并对屏幕图像P进行高斯模糊，得到待处理的图像S；

步骤3，背景消除：对于图像S采用公式一的基于领域信息的背景消除法，获得前景图像M：

M(x,y)＝|S(x+Δd,y)+S(x-Δd,y)+S(x,y+Δd)+S(x,y-Δd)-4M(x,y)|公式一

其中x，y表示图像中像素点的二维坐标，Δd是增强边缘的宽度；

步骤4，二值化：对前景图M采用阈值μ进行阈值化，获得二值图像B；

步骤5，去噪：基于形态学滤波的去噪方法，得到去噪图像BW；

步骤6，缺陷判定：对二值图像BW统计连通域面积，如果面积大于设定的检测阈值T则认为该处存在缺陷，否则认为是噪声点。

步骤7，对上述预处理的图像中前景的疑似缺陷进行训练样本标记建立数据集，在训练服务器中使用YOLO3深度学习模型对数据集进行训练达到分类判别能力。



2）抗表面异物干扰

表面异物干扰的技术原理是通过不同的光学成像条件隔离异物图像的干扰信号和屏内图像信号。主要步骤如下：

步骤1，LED熄屏，并采集图像；

步骤2，图像分割定位，检测异物位置大小信息；

步骤3，LED亮屏，并采集图像；

步骤4，图像分割定位，检测所有缺陷位置大小信息；

步骤5，根据步骤2的异物位置大小信息进行剔除。



五、行业的实践效果

目前主要是手机面板行业的实践，手机厂商做面板产线。目标就是帮客户做一个质检平台，通过AI赋能落地图形检测平台。初始算法精度能够达到80%或者85%或者75%以上，就可以在平台上运行起来。AI落地的一些优势体现在，一站式的标注和算法落地平台，能够屏蔽底层资源，可视化、轻量级，可以快速落地。最终mura检测的精度可以达到98%以上。





另外，在生产的过程中，面临非常现实的一个问题是快速转产。为了帮助快速转产，提供了两个思路，第一个是和机械臂相结合，AI中台迭代出算法模型，迁入到机械臂上跑，这样一个机械臂可以跑N多个算法模型，这样机械臂能快速地拥有多种的视觉计算能力。这样在转产的时候就可以看到比较好的效果，当A产品在机械臂上跑的时候，检测A产品，等B产品生产结束了，再放上B产品，让机械臂跑B产品的算法就可以了，这是一种思路。



还有一种是基于不同的机型去适配不同的屏幕检测算法，就是说可能机型A有一个检测算法，机型B有一个检测算法，因为屏幕不一样，比如说有xxA，xxB，有iPhone10和iPhone11，屏幕材质不一样算法也不一样。通过不同的机型，放不同的算法，部署到产线上运行。这样在转产的时候，就不依赖平台，更依赖端设备进行快速转产。也可以导出到本地的某个设备上，这也是和边缘能力结合的一个场景。



另外还有前面提到的对数据资产进行价值挖掘和检测分析，不光可以做检测，还能把结果进行统计分析，比如说不良率，包括不良的问题产品的追溯，现在的现状是手机良品率还是很高的，如果产品良率再提升一个点，因为手机的产量非常大，节省的成本也是非常可观的。下图是智能工业大平台展示。







上图是是基于大数据能力做专家系统，根据不同维度的缺陷，做不同的缺陷统计。在落地过程中，也发现这样一个问题，不是单纯的有大数据、Hadoop、AI这些东西就可以落地。在真正落地的时候，真正在业务上，缺陷的形状，缺陷的类型，包括亮度、位置、底图、型号等多种缺陷都需要检测，检测出来的缺陷需要分类，分类之后做不同的统计分析，然后每一个缺陷都要去做不同的追溯路径。这是在数字化之后，通过专家系统形成多维度缺陷统计指标来实现的。



六、总结



基于机器视觉检测技术，使用SVD分解和、Gabor 滤波组、迭代差影法相结合的图像预处理技术、边缘计算技术、深度学习技术，打造软硬结合、边云协同的OLED屏幕缺陷检测系统是未来的趋势，具备灵活性好、Mura检出率高、时延低的优点，可以有效解决影像亮度⾊度计系统灵活性差、机器视觉检测时延高等问题，提高了OLED屏幕缺陷检测水平，把控了出货质量，降低了售后成本，对推动产线自动化和工业4.0具有深远意义。

了解更多产品和业务场景请登录官网：http://datasink-sensors.deepexi.top/t/ta