飞桨助力动车 3C 车载智能识别，为动车组运行保驾护航
项目背景
动车组车载接触网运行状态检测装置（3C）是指在运营动车组上安装的车载接触网运行状态检测装置。其随动车组运行，全天候等速在线检测监测接触网、弓网匹配运行状态，检测监测接触网⼏何参数、红外图像、可见光图像等结果，并将结果用于指导接触网维修。
受到接触网张力、机械震动、天气、设备运行寿命等因素影响，接触网运营过程中易出现典型缺陷，如有鸟害、接触网吊弦断裂、接触网吊弦脱落、接触网吊弦松弛、异物缠绕等，虽然该类缺陷在短时间内不能直接造成严重病害结果，但积累后可能引发接触网塌网等重大事故，从而造成列车停运。同时列车运行过程中，由于受到接触网参数改变、异物等因素影响，可造成击打、击毁受电弓的重大事故，使用常规方法很难短时间定位事故详情。该类事故的监测虽不能预防当前事故发生，但捕捉事故后，能对后续列车的运行提供准确的运营指导，大幅度降低事故影响面及经济损失。
本项目基于 3C 可见光图像，研究如何落地一套车载实时智能识别系统，能够监控接触网检测、受电弓监测中的部分高危缺陷。
为了观测并捕捉接触网部件缺失、松脱、异物及受电弓异常等影响行车安全事件的情况，3C 设备需要具有全天候、开放环境、实时性的运行特点，因此需要边云一体化的车地协同方案，以解决户外场景复杂、数据量庞大、实时分析的困难。但因车载硬件资源有限、车载设备功率限定等因素，均不利于车载实时分析。因此本项目通过⼈⼯智能手段，依托有限车载运算资源进一步在保持检测指标的基础上压榨计算时间、增加检测内容，实现边采集图像数据，边实时分析图像缺陷的边缘智能感知功能，弥补了 3C 数据分析量大、分析及时性不足问题，使得接触网相关重要缺陷能够在运营车运行过程中被及时发现与上报，为供电检测的智能化提供有效手段。
项目介绍
接触网检测
数据准备及预处理：数据类别：包含鸟害、吊弦断、吊弦脱、异物四类。数据数量：共计约 1 万张图像。数据划分：采用分层采样分割数据集，每个类别在训练集、验证集、测试集中的比例尽可能接近 6:2:2。预处理注意事项：1. 数据集目标较细，而户外环境经常出现逆光情况，因此对数据增强中的亮度调节要把握尺度；2. 针对部分图像 resize 后失真导致目标对象歧义的缺陷，需要保持图像的原始比例；3. 若服务器产生 CPU 瓶颈，可以在 reader.yml 中使用 DecodeCache 代替 Decode，以释放部分 CPU 压力。
模型训练及评估
针对车载边缘检测场景，本项目选用了基于飞桨目标检测套件 PaddleDetection 的 PP-PicoDet 系列模型进行实验。
1.调整超参数后，执行命令进行多卡训练，同时开启 VisualDL 及训练时评价。
2.观测 VisualDL 训练状态。
3.基于最佳模型，计算验证集、测试集单类 AP。
4.验证集评价结果，如下表所示。
5.测试集评价结果如下表所示。
模型部署
因既有设备还需承担数据采集、几何参数测量计算等任务，可利用 CPU 资源有限。根据经济因素、运维因素及功率限定的考量，我们利用了空闲的集成显卡，采用基于 OpenVINO 的部署方式。该方式具备较低的推理时长及较低的 CPU 占用，为剩余业务留出空间。
模型导出可参照:PaddleDetection
模型导出为 ONNX 格式教程：https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.3/deploy/EXPORT_ONNX_MODEL.md
1. 导出飞桨部署模型：
2.导出 PaddleDetection 模型为 ONNX：
3. 基于 OpencvDNN 模块使用 ONNX 模型：这里需要说明，OpenCV 的 DNN 模块针对集成显卡推理具备基于 OpenCV 和基于 IntelNGRAPH 的两种后端，相应的使用方法不同可能造成巨幅的推理时长变化。
1）基于 OpenCV 后端该模块可直接读取 ONNX 模型，但网络中的 OperationsSets 支持有限，更多 OperationsSets 需要自定义。
既有 OperationsSets 支持参考:Thesupportedlayershttps://github.com/opencv/opencv/wiki/Deep-Learning-in-OpenCV自定义 Operations Sets 参考: tutorial_dnn_custom_layershttps://docs.opencv.org/4.x/dc/db1/tutorial_dnn_custom_layers.html
2）基于 IntelNGRAPH 后端该模块可直接读取 ONNX 模型及 IR 模型。a、读取 ONNX 模型将在线通过 NGRAPH 优化后运行，支持 OperationsSets 相对较多，使用简便；b、读取 IR 模型是最佳的方式，经实验其能最大化减少推理时长，但其需要优先安装 OpenVINO，并利用其将 ONNX 模型优化为 IR 模型，但因集成显卡驱动因素影响其尽量适用于 Intel 四代 CPU 之后的硬件设备；
既有 OperationsSets 支持参考:AvailableOperationsSetshttps://docs.openvino.ai/latest/openvino_docs_ops_opset7.html#doxid-openvino-docs-ops-opset7
IR 模型转换参考: ConvertaPaddlePaddleModeltoONNXandOpenVINOIRhttps://docs.openvino.ai/latest/notebooks/103-paddle-onnx-to-openvino-classification-with-output.html2. 数据后处理参考：PicoDetPostProcesshttps://github.com/PaddlePaddle/PaddleDetection/blob/develop/deploy/cpp/src/picodet_postprocess.cc3. 推理时间如下表所示。GPU：Intel HD Graphics 530CPU：Intel(R) Core(TM) i7-6700 CPU @3.40GHz 3.41GHzVPU：Movidius MyriadX
项目选用 picodet_lcnet_416 模型，指标较原有自定义模型提升 2%，推理速度加速 53%，为进⼀步业务算法实施提供了可能性。
受电弓监测
针对车载边缘检测场景，本项目选用了基于 PaddleDetection 的 keypoint 模型实验。
数据准备及预处理
数据类别：内部数据集设计包含 10 个受电弓关键点；数据数量：共计约 2 千张图像；
数据划分：采用分层采样分割数据集，使得每个类别训练集:验证集尽可能接近 8:2。
模型训练及评估
不同于通用的行人姿态检测，本项目姿态检测为受电弓，数据集目标对象将发生迁移。基于关键点的自定义数据集训练，因目标关键点数量和关键点含义的变化，需要修改几处内容：
1.因关键点数量及目标对象的变化，需要修改部分源码及配置：
2.当前 PaddleDetection 中的关键的检测评价指标是基于 coco OKS 的，其 OKS 中的 kpt_oks_sigmas 参数来源于 coco 关键点数据集。因自定义关键点数据集的关键点数量、标注内容变化，需要修改相应的 kpt_oks_sigmas 适配自定义数据集。（kpt_oks_sigmas 含义为每个关键点各自的数据集标准差，COCO 上是对同⼀个目标的 5000 次不同标注产生的标准差。其值越大，说明在整个数据集中对这个点的标注一致性越差; 值越小，说明整个数据集中对这个点的标注一致性越好。如 coco 数据集中：{鼻子：0.026，眼睛：0.025，耳朵：0.035，肩膀：0.079，手肘：0.072，手腕：0.062，臀部：0.107，膝盖：0.087，脚踝：0.089}）
3.如果希望可视化关键点骨架结果，也需要修改相应源码：
4. 调整超参数后，执行训练并开启 visualDL 及训练时评价。
5.使用模型推理未标注数据测试。
6.验证集评价结果。
模型部署
1.导出飞桨部署模型。
2.导出 PaddleDetection 模型为 ONNX。
3. 推理时间如下表所示。GPU：IntelHDGraphics530CPU：Intel(R)Core(TM)i7-6700CPU@3.40GHz3.41GHz
项目效果
接触网检测结果可视化
鸟害
吊弦脱
吊弦断
异物
受电弓监测结果可视化
总体效果
截止目前新版算法已扩展部署动车 30 辆、机车 16 辆，单月累积巡线超过 170 万 KM，检出上述类型缺陷超过 3000 个。
欢迎关注 PaddleDetection：https://github.com/PaddlePaddle
用科技让复杂的世界更简单 2020.07.15 加入
百度大脑是百度技术多年积累和业务实践的集大成，包括视觉、语音、自然语言处理、知识图谱、深度学习等 AI 核心技术和 AI 开放平台。 即刻获取百度AI相关技术，可访问 ai.baidu.com了解更多！
评论