写点什么

背景自由替换,远程办公好助手

发布于: 2020 年 08 月 27 日
背景自由替换,远程办公好助手

一、应用场景

2020年开年,远程办公受到了全行业的空前关注。受新冠肺炎疫情影响,从2月3日起,在“缓复工、少聚集”思想指导下,全国各地企业纷纷开展远程办公,在家或异地办公成为风潮。

      通过华宇虚拟背景引擎,能进一步避免了在家开启摄像头后画面杂乱的尴尬,满足用户自由替换背景需求,提升线上沟通的视觉效果,保护参会者的隐私。

二、实现原理和主要优势

该引擎主要实现对视频中的人体图像进行语义分割,然后置换成统一背景,可以满足远程视频的自主替换背景图片的需求。

     相对于传统的绿布抠图方法,本模型对背景图像没有特殊要求,同时该轻量级分割模型性能较好,兼顾了人像分割的准确率和实时率,满足基于PC端和移动端的办公环境,虚拟背景效果如图1所示。



图1 虚拟背景效果

三、主要算法与模型设计

1)主要算法包括三部分:人像分割、背景替换、渲染美化,效果如图2所示:



图2 左上角为原图,右上角为抠图mask,左下角为背景替换效果,右下角为渲染美化后的效果图

2)系统提供多场景合成:满足虚拟合议庭的需求,如图3所示:



图3 多场景合成效果

3)主要模型采用改进轻量级分割网络 SINET

  • 使用二分类替代多分类,减少参数,降低FLOPS,提升推理速度

  • 使用LOVAZE+BCE损失替换原始的CE损失,提升网络精确度

  • 使用ASPP、Channel Shuffle替换原有的Squeeze、Expansion

  • 在SE(channel  attention)的基础上,添加spatial attention模块

  • 使用Soft Label+自蒸馏的训练方式,减少光照等因素影响

深度网络抠图结构如图4所示:



图4 SiNet基础网络

4)渲染美化操作

主要操作包括膨胀、腐蚀,实现空洞填充边缘抗锯齿。使用高斯滤波后,近似边缘羽化,优化处理结果。基于二值化、边缘检测、剔除较小连通域等。

渲染美化效果如图5所示:

图5 渲染美化后效果图

工程化加速方案包括:ONNX-runtime、Ncnn、Libtorch、Caffe、Opencv DNN、Pytorch-win、Tensorflow-win,最后再Ncnn下利用集成显卡加速效果最好。

四、总结

用户可以使用任意图片取代背景图像,即可实现定制的会议背景图片。目前模型在普通的CPU上即可运行,I5机器上可以达到20-30fps,可以满足移动端和PC端的用户。

附录

作者简介:沈来信,华宇信息研究院,人工智能科学家,从事AI研发15年多,擅长图像识别、语音识别、自然语言处理、知识图谱、大数据、云计算、物联网等,发表核心论文多篇,授权专利多项,主持省部级项目多项等,主持研发司法场景下的视频行为分析引擎、虚拟背景引擎、语音识别引擎等。



用户头像

为成为中国最顶尖的法律科技公司而奋斗! 2020.05.21 加入

公司主页:http://www.thunisoft.com/ 北京华宇信息技术有限公司以“法律科技”和“智慧政务”双轮驱动为发展战略,为客户的信息化事业提供全方位的解决方案与服务,是您值得信赖的智慧信息服务专家。

评论 (1 条评论)

发布
用户头像
好文章
2020 年 08 月 28 日 10:06
回复
没有更多了
背景自由替换,远程办公好助手