0.99M，150FPS，移动端超轻量目标检测算法 PP-PicoDet 来了！

说到目标检测，那可谓当前的自动驾驶、新零售、智慧工业等热门行业中的关键技术之一。目标检测不仅在行人、车辆、商品以及火灾检测等任务中发挥着极其关键的价值，在目标跟踪、姿态识别、手势控制、图像搜索等复合任务中也至关重要。

注*：以上视频引用于公开数据集[1]图 1 PaddleDetection 产业应用效果示例

而在当前端侧智能、端云协同的行业发展趋势下，算法在移动端的部署应用则显得尤其重要。相较于统一的中心化处理，智能终端可以更好的适应差异化的环境，运维成本也更低。然而开发一个高质量的轻量目标检测模型却并不那么容易，现实环境中往往存在诸多挑战：

1. 速度要快。比如工业视觉质量检测、自动驾驶等实时场景，延迟可以接受的范围往往需要在毫秒级别，要求极其严苛。

2. 精度要高。在自动驾驶、火灾检测等场景，一个微小的错误都可能带来严重的损失，对误检、漏检的容忍度非常低。

3. 体积要小。在手机端、车载、IOT 等边缘端部署，算力和内存都有限，算法需要做到极致压缩。

4. 部署环境复杂多样。硬件设备功耗、规格各色各样。适配和部署成本简直不要太大！

而今天介绍的最新开源的轻量级目标检测 PP-PicoDet 正是为了解决以上痛难点问题，针对模型的速度、精度和部署友好性做出优化，并取得了显著的成果。

话不多说，直接奉上开源代码实现：https://github.com/PaddlePaddle/PaddleDetection强烈建议各位 Star 收藏，深入研究使用。

其系列中的 PP-PicoDet-S 参数量仅有 0.99M，却有 30.6%mAP 的精度，当输入尺寸为 320 时，推理速度甚至可达 150FPS，不仅 mAP 比 YOLOX-Nano 高 4.8%，端侧推理速度还提升了 55%；相比 NanoDet，mAP 也高出了 7.1%。而 PP-PicoDet-L 则在仅有 3.3M 参数量的情况下 mAP 达到 40.9%，比 YOLOv5s 高 3.7%，推理速度提升 44%。

PP-PicoDet 技术报告地址：https://arxiv.org/abs/2111.00902

注*：以上图片引用于报告[2]图 2 PP-PicoDet 性能对比图

注*：GIF 中 FPS 是包含前处理、预测、后处理的端到端耗时，以上视频引用于公开数据集[1]图 3 PP-PicoDet 移动端和不同模型效果对比

不仅如此，在此次飞桨目标检测开发套件 PaddleDetection v2.3 推出的多目标实时跟踪系统 PP-Tracking 和超轻量人体关键点模型 PP-TinyPose 中，PP-PicoDet 也是极其关键的技术模块。甚至在近日引起业界广泛关注的通用图像识别系统 PP-ShiTu 中，PP-PicoDet 也被用作主体检测模块，以超轻量的体积实现了超越服务端大模型的效果！

PP-PicoDet Android APP 下载体验指路：https://paddledet.bj.bcebos.com/deploy/third_engine/PP-PicoDet.apk（如链接不能正常访问，可复制到浏览器进行下载）

下面，就让我们来一起看看具体都有哪些优化策略，让 PP-PicoDet 又小又快又准：

 更高性能的骨干网络 

一个高性能的骨干网络对目标检测模型的性能提升有着至关重要的作用，PP-PicoDet 采用了百度自研的超轻量、高精度骨干网络--ESNet(Enhanced ShuffleNet)，使得整个目标检测模型不仅计算量更小、延迟更低、精度更高，同时还拥有更好的鲁棒性，能够更好地适配多种硬件环境。

ESNet 是在 ShuffleNetV2 的基础上引入了 SE 模块和 GhostNet 中的 Ghost 模块，并新增深度可分离卷积，对不同通道信息进行融合来提升模型精度，同时还使用神经网络搜索(NAS)搜索更高效的模型结构，进一步提升模型性能，最终得到了在精度、速度全方面提升的骨干网络。

注*：以上图片和数据引用于报告[2]图 4 ESNet & ShuffleNetV2 性能对比

 更轻量的 Neck 和 Head 

在 Neck 部分，PP-PicoDet 提出了 CSP-PAN 结构，使用 1*1 的卷积将特征的通道数与 BackBone 输出的最小通道数进行统一，从而减少计算量，并保证特征融合性能不受影响。此外，PP-PicoDet 还在 CSP-PAN 的基础上再下采样一次，添加一个更小的特征尺度来提升大物体的检测效果(见下图 P6 分支)。

与此同时，PP-PicoDet 在 Neck 和 Head 部分均采用深度可分离卷积，将 3 x 3 卷积核增大至 5×5，来增大感受野，还保持了速度不变。并且 PP-PicoDet 采用了通道数和 Neck 一致的“耦合头”，相比于小通道数的“解耦头”有更快的预测速度。

注*：以上图片和数据引用于报告[2]图 5 PP-PicoDet 整体架构示意图

 更精准的采样策略 

PP-PicoDet 受到 YOLOX 等优秀算法的启发，使用了更精准的 SimOTA 采样策略，随训练过程动态变换标签分配方式，通过在目标区域采集高质量的样本来有效加速模型收敛。在此基础上对其中的 cost 矩阵计算进行改造，使用 VFL+GIoU 替代原本的 CELoss+IoU，在速度无损的情况下还能有效提升 1%的精度。

除此之外，PP-PicoDet 还使用了 H-Swish 激活函数替代 Relu；使用 Cosine 学习率衰减策略；使用 Cycle-EMA；加入少量的如 Crop、Flip、Multi-Scale 等数据增强策略进行更稳定的训练，使得模型精度再次提升 3%。

下面就让我们一起看看以上这一系列优化策略的最终效果，从中可以看到：无论是精度还是速度，PP-PicoDet 都表现卓越！

注*：测试设备为骁龙 865，Threads=4，FP16，NCNN（Paddle Lite 测试结果为*），以上图片和数据引用于报告[2]图 6 PP-PicoDet 在 COCO 上和其他轻量级检测器性能试验对比

 更完备的部署支持 

作为真正的产业级开发利器，PaddleDetection 通过完备支持飞桨原生推理库 Paddle Inference、飞桨轻量化推理引擎 Paddle Lite，使开发者可以快速在主流服务器、端侧芯片上实现高性能部署。

并且支持快速导出为 ONNX 格式，使开发者可以通过 ONNX 生态能力进行更广泛的算法部署应用，可以通过自己熟悉的移动端引擎进行 PP-PicoDet 的部署和推理。

除此以外，还提供 OpenVINO 加速部署方案、Android Demo，并且所有流程代码均已开源，全方位满足各类硬件环境部署需求，让深度学习落地的最后一公里再无障碍！

这样的一个目标检测开发神器已经被多家像国家电网、武汉铁路局、宁德时代这样的行业巨头公司所应用，真正实现了助力开发者，赋能产业智能化！

链接指路：https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.3/configs/picodet

 后续工作 

PP-PicoDet 的诞生源于开源，也是回馈开源。考虑到工业、互联网、自动驾驶等各行各业对移动端、边缘端部署轻量化目标检测模型的需求越来越强烈，PP-PicoDet 致力于提供一种真正面向产业实践的，更高性能、轻量化、更易落地的目标检测方案，而非单纯追求模型指标。

与此同时，希望 PP-PicoDet 的算法本身以及优化思路，可以在给业界开发者带来更好算法的同时，也带来更多的算法优化启发，能够在此基础上继续提升产出更多优秀成果，也欢迎大家通过用户群、Issue 等方式和我们探讨交流。在此希望和业界开发者携手为中国的开源技术而努力！

以上所有代码实现，均在 PaddleDetection 飞桨目标检测开发套件中开源提供：https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.3欢迎感兴趣的小伙伴一起体验、反馈建议并参与共建！你的 Star 是对我们工作的最大鼓励~