写点什么

ModelBox 开发体验:使用 YOLOv3 做口罩检测

  • 2022 年 8 月 22 日
    中国香港
  • 本文字数:4508 字

    阅读完需:约 15 分钟

ModelBox开发体验:使用YOLOv3做口罩检测

本文分享自华为云社区《ModelBox开发体验Day05开发案例-使用YOLOv3做口罩检测》,作者: 孙小北。


  • 本案例将使用 YOLO v3 模型,实现一个简单的口罩检测应用

  • 代码:https://github.com/sunxiaobei/modelbox_gallery

  • 代码标签:v1.5 mask_det_yolo3,v1.5.1 mask_det_yolo3_camera

开发准备


  • 开发环境安装和部署,前面环境已完成

  • 模型训练,ModelArts 训练模型

  • 模型转换,代码模型已完成转换

应用开发


打开 VS Code,连接到 ModelBox sdk 所在目录或者远程开发板,开始进行口罩检测应用开发。

(1)创建工程


使用 create.py 创建 mask_det_yolo3 工程, 将会创建出一个空的 ModelBox 样例工程。


./create.py -t server -n mask_det_yolo3git add .git commit -m 'create mask_det_yolo3'
复制代码


(2)创建推理功能单元


AI 应用的核心是模型推理部分,我们用如下命令创建推理功能单元,该模块将会创建在工程目录的 model 文件夹下:


./create.py -t infer -n mask_infer -p mask_det_yolo3git add .git commit -m 'create mask_infer'
复制代码


将资源包中 model/mask_infer 文件夹中的模型和配置文件拷贝到口罩检测工程的 model/mask_infer 目录下。其中 yolo3_resnet18_mask_det_288x512-rknpu2.rknn 是转换好的 rknn 模型,mask_infer.toml 是该模型的 ModelBox 功能单元配置文件,其内容如下:


# Copyright (c) Huawei Technologies Co., Ltd. 2022. All rights reserved.[base]name = "mask_infer"device = "rknpu"version = "1.0.0"description = "your description"entry = "./yolo3_resnet18_mask_det_288x512-rknpu2.rknn"  # model file path, use relative pathtype = "inference"virtual_type = "rknpu2" # inference engine type: rockchip now support rknpu, rknpu2(if exist)group_type = "Inference"  # flowunit group attribution, do not changeis_input_contiguous = "false" # rk do not support memory combine, fix, do not change[input][input.input1]name = "data"type = "uint8"device = "rknpu"[output][output.output1]name = "yolo/output1"type = "float"[output.output2]name = "yolo/output2"type = "float"[output.output3]name = "yolo/output3"type = "float"
复制代码


可以看到该模型有 3 个输出节点,即 YOLO v3 模型输出的 3 个 feature map,需要从中解码出检测框。

(3)创建后处理功能单元


后处理功能单元负责从模型推理结果中解码出检测框,我们用如下命令创建该功能单元,其将会创建在工程目录的 etc/flowunit 文件夹下:


./create.py -t python -n yolo3_post -p mask_det_yolo3
复制代码


将 common 资源包中 etc/flowunit/yolo3_post 文件夹中的代码和配置文件拷贝到口罩检测工程的同名目录下,解码过程的核心逻辑在 yolo3_utils.py 文件中,可以查阅 YOLO v3 模型细节阅读代码。

(4)创建画图功能单元


得到检测框后可以画在原图上进行输出展示,我们用如下命令创建画图功能单元:


./create.py -t python -n draw_mask_bbox -p mask_det_yolo3
复制代码


将 common 资源包中 etc/flowunit/draw_mask_bbox 文件夹中的代码和配置文件拷贝到口罩检测工程的同名目录下,画图的核心逻辑在 draw_mask_bbox.py 文件的 draw_mask_info 函数中:


def draw_mask_info(self, image, bboxes): '''在图中画出口罩佩戴信息'''        thickness = 2 font_scale = 1 text_font = cv2.FONT_HERSHEY_SIMPLEX for bbox in bboxes: label_index = int(bbox[5]) if self.labels[label_index] != 'head': continue x_min, y_min, x_max, y_max = bbox[0], bbox[1], bbox[2], bbox[3] face_bbox = self.find_max_cover_bbox( bbox, bboxes, 'face', self.face_cover_ratio) if not face_bbox:                cv2.rectangle(image, (x_min, y_min), (x_max, y_max), (255, 255, 0), thickness)                cv2.putText(image, 'unknown', (x_min, y_min-20), text_font, font_scale, (255, 255, 0), thickness) continue mask_bbox = self.find_max_cover_bbox( face_bbox, bboxes, 'mask', self.mask_cover_ratio) if not mask_bbox:                cv2.putText(image, 'no mask', (x_min, y_min-20), text_font, font_scale, (255, 0, 0), thickness)                cv2.rectangle(image, (x_min, y_min), (x_max, y_max), (255, 0, 0), thickness) else:                cv2.putText(image, 'has mask', (x_min, y_min-20), text_font, font_scale, (0, 255, 0), thickness)                cv2.rectangle(image, (x_min, y_min), (x_max, y_max), (0, 255, 0), thickness)                cv2.rectangle(image, (mask_bbox[0], mask_bbox[1]), (mask_bbox[2], mask_bbox[3]), (0, 255, 255), thickness) return image
复制代码


针对每个人,该模型会尝试检测出 head(头肩部)、face 和 mask 三个检测框。如果 face 检测框与 mask 检测框的重合度大于某个阈值,就判为佩戴口罩;否则,就判为没有佩戴口罩;如果没有检测到 face 检测框,就会显示 Unknown,表示未知。

(5)修改流程图


模型推理和配套的功能单元准备好后,我们就可以串联出流程图进行测试了,口罩检测工程默认在 graph 目录下生成了 mask_det_yolo3.toml,我们参考资源包中的 graph/mask_det_yolo3.toml 将其修改为:


# Copyright (c) Huawei Technologies Co., Ltd. 2022. All rights reserved.[driver]dir = ["${HILENS_APP_ROOT}/etc/flowunit","${HILENS_APP_ROOT}/etc/flowunit/cpp","${HILENS_APP_ROOT}/model","${HILENS_MB_SDK_PATH}/flowunit"]skip-default = true[profile]profile=falsetrace=falsedir=""[graph]format = "graphviz"graphconf = """digraph mask_det_yolo3 {    node [shape=Mrecord]; queue_size = 4 batch_size = 1    input1[type=input,flowunit=input,device=cpu,deviceid=0] data_source_parser[type=flowunit, flowunit=data_source_parser, device=cpu, deviceid=0] video_demuxer[type=flowunit, flowunit=video_demuxer, device=cpu, deviceid=0] video_decoder[type=flowunit, flowunit=video_decoder, device=rknpu, deviceid=0, pix_fmt=bgr] image_resize[type=flowunit, flowunit=resize, device=rknpu, deviceid=0, width=512, height=288] mask_detection[type=flowunit, flowunit=mask_infer, device=rknpu, deviceid=0]    yolo3_post[type=flowunit, flowunit=yolo3_post, device=cpu, deviceid=0] draw_mask_bbox[type=flowunit, flowunit=draw_mask_bbox, device=cpu, deviceid=0] video_out[type=flowunit, flowunit=video_out, device=rknpu, deviceid=0]    input1:input -> data_source_parser:in_data data_source_parser:out_video_url -> video_demuxer:in_video_url video_demuxer:out_video_packet -> video_decoder:in_video_packet video_decoder:out_video_frame -> image_resize:in_image image_resize:out_image -> mask_detection:data mask_detection:"yolo/output1" -> yolo3_post:in_feat1 mask_detection:"yolo/output2" -> yolo3_post:in_feat2 mask_detection:"yolo/output3" -> yolo3_post:in_feat3 video_decoder:out_video_frame -> draw_mask_bbox:in_image    yolo3_post:out_data -> draw_mask_bbox:in_bbox draw_mask_bbox:out_image -> video_out:in_video_frame}"""[flow]desc = "mask_det_yolo3 run in modelbox-rk-aarch64"
复制代码


该流程图对于某个视频流,经过视频解码、图像缩放、口罩检测推理、检测框后处理、画图等一系列操作后,将结果保存下来。


然后,参考 common 资源包中 mock_task.toml,将口罩检测工程的任务配置文件 bin/mock_task.toml 中输入输出部分修改为:


# 任务输入,mock模拟目前仅支持一路rtsp或者本地url# rtsp摄像头,type = "rtsp", url里面写入rtsp地址# 其它用"url",比如可以是本地文件地址, 或者httpserver的地址,(摄像头 url = "0")[input]type = "url"url = "../data/mask_test.mp4"# 任务输出,目前仅支持"webhook", 和本地输出"local"(输出到屏幕,url="0", 输出到rtsp,填写rtsp地址)# (local 还可以输出到本地文件,这个时候注意,文件可以是相对路径,是相对这个mock_task.toml文件本身)[output]type = "local"url = "../hilens_data_dir/mask_test_result.mp4"
复制代码


将 common 资源包中的 data/mask_test.mp4 测试视频拷贝到口罩检测工程的 data 目录下,该流程图使用这一视频进行口罩检测,检测结果绘制后保存为 hilens_data_dir/mask_test_result.mp4 文件。

(6)运行应用


在 mask_det_yolo3 工程路径下执行 build_project.sh 进行工程构建:


cd workspace/mask_det_yolo3./build_project.sh
复制代码


执行 bin/main.sh 运行应用(如果运行报错请切换到 root 账号再运行,本应用需要事先使用 pip 安装好 OpenCV 和 NumPy),运行结束后在 hilens_data_dir 目录下生成了 mask_test_result.mp4 文件,可以下载到 PC 端查看。


bin/main.shgit add .git commit -m 'run mask_det_yolo3'git pushgit tag -a v1.5 -m 'mask_det_yolo3'git push origin --tags
复制代码


(7)实时摄像头


# 用于本地mock文件读取任务,脚本中已经配置了IVA_SVC_CONFIG环境变量, 添加了此文件路径########### 请确定使用linux的路径类型,比如在windows上要用 D:/xxx/xxx  不能用D:\xxx\xxx  ############ 任务的参数为一个压缩并转义后的json字符串# 直接写需要转义双引号, 也可以用 content_file 添加一个json文件,如果content和content_file都存在content会被覆盖# content_file支持绝对路径或者相对路径,不支持解析环境变量(包括${HILENS_APP_ROOT}、${HILENS_DATA_DIR}等)[common]content = "{\"param_str\":\"string param\",\"param_int\":10,\"param_float\":10.5}"# 任务输入,mock模拟目前仅支持一路rtsp或者本地url# rtsp摄像头,type = "rtsp", url里面写入rtsp地址# 其它用"url",比如可以是本地文件地址, 或者httpserver的地址,(摄像头 url = "0")[input]type = "url"# url = "../data/mask_test.mp4" url = "0"# 任务输出,目前仅支持"webhook", 和本地输出"local"(输出到屏幕,url="0", 输出到rtsp,填写rtsp地址)# (local 还可以输出到本地文件,这个时候注意,文件可以是相对路径,是相对这个mock_task.toml文件本身)[output]type = "local"# url = "../hilens_data_dir/mask_test_result.mp4" url = "rtsp://192.168.3.3:8554/outstream"
复制代码


运行测试


bin/main.sh camera
复制代码


小结


本次案例实践口罩识别,通过本次案例的实践对于开发板的使用有了进一步了解,同时也体会到了这个开发板的便捷开发模式,非常值得推荐,希望后续可以体验更多案例,真正落地实践。

参考文献:


  • https://developer.huaweicloud.com/develop/aigallery/article/detail?id=0163b46b-34fa-468d-b243-2ef067170d4a

  • https://modelbox-ai.com/modelbox-book/

  • https://developer.huaweicloud.com/develop/aigallery/article/detail?id=adc021cb-1c12-49a1-8a0b-f56ce6fb3b25


点击关注,第一时间了解华为云新鲜技术~

发布于: 刚刚阅读数: 3
用户头像

提供全面深入的云计算技术干货 2020.07.14 加入

华为云开发者社区,提供全面深入的云计算前景分析、丰富的技术干货、程序样例,分享华为云前沿资讯动态,方便开发者快速成长与发展,欢迎提问、互动,多方位了解云计算! 传送门:https://bbs.huaweicloud.com/

评论

发布
暂无评论
ModelBox开发体验:使用YOLOv3做口罩检测_人工智能_华为云开发者联盟_InfoQ写作社区