拍乐云技术分享 | 美术教学中视频矫正是怎么做的？

近年来，在线教育行业进入了发展的快车道，人们对于教育的需求越来越明确、要求越来越高，经过一番大浪淘沙，我们发现只有产品优质、重视用户体验的机构才能在后疫情时代经久不衰、愈发兴盛。在素质教育赛道中，以在线美术教学为核心的美术宝、画啦啦，以在线书法教学为核心的河小象以自身实力领跑了细分赛道，用科技推动素质教育的进步。值得一提的是，美术宝教育在业内率先采用了“Art loop”实时视频透视矫正系统，以解决移动设备终端在教学直播场景中产生的透视、变形、偏色等一系列问题，并还原线下授课体验和交互，提高学员的专注度。在这些线上美术、书法教学场景中，视频矫正技术成为了音视频技术之上的加分项。本文会从技术的角度为大家介绍拍乐云在视频矫正技术中的实践经验。

一、什么是视频矫正？

“基于参数估计的自由几何变换算法”的视频矫正技术，是基于实时音视频之上的技术优化，通过独有的图像处理算法，对视频画面进行矫正的技术。举个例子，美术线上课堂中，学生远程在画纸上绘画，摄像头对着画纸，通常难以保证摄像头可以正对画纸中心进行拍摄，一旦偏离画纸中心，拍摄出的视频中，画纸会变形，这项技术可以使老师将学生的视频进行失真矫正，将拍摄出来的梯形画纸调整成为长方形。

二、视频矫正的技术关键点有哪些？

用手机等设备拍摄图像时，如果摄像头无法正对被拍摄像对象（如画板），会产生一系列的几何失真，这是由于摄像头在拍摄时，真实世界是三维空间，展示在手机上时，已经变成了二维平面。物体与摄像头的真实空间关系，可以由被拍摄对象在空间内的几何位置关系，估算得到被拍摄对象的几何失真参数，然后重新计算拟进行矫正区域与真失被拍摄对象的映射关系。将得到的映射关系利用低复杂度高效的处理算法，对原始视频进行处理，得到矫正后的视频。其中，关键的技术点包括：1、独创的几何失真参数估计 a、将拍摄的物体，例如画板，在拍摄空间进行数学建模，建立空间坐标系；b、根据物体在空间内的位置关系，估算摄像头的采集参数，特别是平移、旋转、缩放和投影参数。

2、独创的映射关系计算，将摄像头的采集参数与假设的鸟瞰摄像采集参数进行映射，得到真实的视频渲染参数矩阵

3、高效快速的视频处理算法，在实时视频通信中，视频数据量巨大，该技术需要对视频中每个像素进行映射变换，运算量随像素点数的增加，急剧增加，为此，我们设计了高度并行的处理算法，使得每个像素点都可独立进行运算，从面可以利用 GPU 进行加速处理，即使超高清视频都可以在毫秒级别进行处理。

相关开发指南页面：

Android: VideoQuadTransform

com.pano.rtc.api.Constants.PanoOptionType 枚举类型参考​developer.pano.video

iOS: kPanoOptionQuadTransform

PanoEnumerates.h 文件参考​developer.pano.video

以上就是关于视频矫正的一些分享，欢迎大家体验。关注拍乐云 Pano 的公众号，我们会在后续的文章中分享更多关于音视频开发的技术知识。