写点什么

为什么 VR 视频的清晰度不高?

发布于: 3 小时前
为什么VR视频的清晰度不高?

VR 内容的清晰度一直以来广受关注,也是提升用户沉浸感体验的重要因素。不过,体验过 VR 视频的不少用户都会抱怨:我们看的明明是 4K 甚至是 8K 内容,可实际观感还不如手机 1080P 的画质。是我买了个假 VR 设备?还是看了个假 4k 内容?


为什么 VR 视频的清晰度不够高呢?这里面有几点或许需要我们厘清。

一、4k 画质不等于 4K 观感


对于传统视频的播放,用户们都很熟悉,就是使用手机,ipad,电视这些媒介去看视频。在我们面前的是一个比较小的屏幕,用户只能盯着屏幕去观看。传统的视频观看已经发展很多年了,在这期间,用户体验的提升主要靠的是视频分辨率的增加。从传统的 DVD 到现在的 4K/8K,视频的清晰度已经提高了 N 倍以上。


图来自网络


分辨率的提升是否有尽头,是否提高分辨率就是提高用户的观看体验呢?


事实上,在屏幕分辨率和实际观看感受之间还有一个重要指标——PPD(Pixels Per Degree),即每角度人眼看到的像素点,这才是衡量视频观看清晰度的核心标准。


以视网膜屏幕的手机为例,假设用户距离手机屏幕 30cm,手机屏幕在用户视野中水平所占据的度数大约是 10 度。根据苹果对视网膜屏幕的界定,这样的屏幕宽度大约是 600 个像素,也就是相当于,每一度视场角被分配了 60 个像素,即 60PPD,而这就意味着在视觉上达到了视网膜级别的效果。


正是在这个意义上,4K 的屏幕分辨率,并不一定代表超高清的观看体验,关键要看人眼能够从中获取的像素点的多少。在正常距离观看传统的屏幕时,用户基本能够看到整块屏幕,因此整屏分辨率和用户观看体验较为一致。


但在 VR 视频这种立体观看场景中,用户相当于拿着一只放大镜在看屏幕,用户观看的只是屏幕的一个小块,它对于视频分辨率的要求自然也会呈指数级上升。

二、VR 眼镜的 PPD


图片来自网络


那么,来到第二个问题,用户在距离 40CM 的 2K 分辨率的手机屏幕面前,或者在 2 米外的 8K 电视面前的观看体验能达到多少 PPD 呢?下图给出一个粗略的数据。


表格数据来自《VR 与自由视角视频关键技术与标准制定》PPT,主讲人,王荣刚,北京大学深圳研究生院


可见,看 4K 电视时,用户的 PPD 已经可以达到 80+了,已经超过了视网膜显示效果的上限。有研究者做过相关的实验,让不知情的用户分别观看 4K 和 8K 的电视,然后自主分辨电视的清晰度,结果是正确与错误的判断几乎相当。


但是回到 VR 设备,上图里的 VR 设备,毫无例外 PPD 都直线下降,远远达不到 60PPD 这个视网膜标准。为什么在 VR 设备中,同样的像素会这么模糊呢?


图片自来网络


通常的 VR 视频,是一个球面模型,用户相当于站在球心向外观看,由于人眼的视角有限,所以在同一时间,用户只能看到 360 度球面的一小部分。当用户转动视角时,才能看到球面的其他部分图像。



用户看到的这个区域,我们称之为“视口”(Viewport),即是上图里的黄色区域。


这时我们就比较好理解为什么 VR 不清晰了:如果整个球面是一个 4K 分辨率的视频,那用户观看到的,大概仅仅是一个 1K x 1K 左右分辨率的小区域,PPD 数值大大降低,画质模糊在所难免。

三、如何提升 VR 视频的清晰度


那我们该如何提升 VR 视频的清晰度呢?提升用户的使用体验呢?


第一种方法就是提升视频的分辨率,从理论上来说,只要整屏清晰度达到一定高度,VR 观感也会相应提升。


但是单纯地提高分辨率,4K 不清晰就 8K,8K 不清晰就 16K,这样可以吗?


事实是,这种等级的清晰度的提高,编码,传输,解码的复杂度都是成倍增加的。目前能够对一幅 8K 全图实时解码的手机设备就已经非常有限了,更不用说 8K 以上的清晰度。


所以现有硬件设备的性能很快就会达到瓶颈,是无法满足如此高清的流媒体播放的,根本无法大规模生产,送到用户的眼前。


现在市面上的 VR 设备较为通用的解决方法是:既然用户只能在 VR 中看到一小块区域,那就只解码这一小块区域的图像,让用户观看,当用户转动视口后,再更新相应的区域。



由于目前的编码技术基本都是针对矩形图像块来编码的,那么我们可以把原图做一个 4x4 分割,将每个小块独立编码。如果原图是 8K 的(7680x4320),则每个分割后的小块刚好是 1080P 的。这样一来,似乎我们只需要判断用户当前的视口在哪里,覆盖了几个小块,然后仅仅去解码这几个小块,渲染到窗口上就可以了。


这样做确实能够解决部分问题,能降低一些解码的负担,但是这种划分是不太理想的。从上图中仔细观察就可以得到答案:如果用户的视口在图上位置,我们需要同时解码 9 个小块(即解码全图的 9/16),但其实用户主要视口都在这 9 块中的最中心的 1 块上,边缘的 8 个小块,虽然都被解码出来,但仅仅渲染一点边边角角。解码资源还是被浪费了很多。


而如果再对画面进行细分,又会增加解码器的数量,通常来说,手机或 VR 一体机上,硬件解码器的个数都是有限制的,不能创建太多,一次性开放太多硬解码器,是不可行的。


针对这个问题,爱奇艺技术团队也经过了一系列实践,提出了自己的解决方法,选定了 Tile 分块编码方式,以此实现 VR 下的 8K 技术。


简单地说,就是一帧图像,可以划分成若干个矩形子块,每个块的编码参数保持一致,但分别独立编码。在解码时,只需要把 MxN 个块拼成一个矩形,各块的帧数据头尾相接,一起输送到解码器里,解码后的图像就是一个 MxN 分割的图案,在渲染时把相应区域渲染到窗口上就可以了。这样就起到了降低解码器个数的作用。


爱奇艺世界大会现场图


如上图所示,8K 视频做了 8x8 分割,用户视口是黄色区域部分,此时可见 12 个小块,假设我们把每 4 个小块组合在一起,形成一个 2x2 的矩形,一起输送给解码器。那么仅需要 3 个解码器就可以覆盖这个场景。


目前用户视口内区域的解码显示问题,已经比较完善的被解决了。但视口外的大片区域现在还是一片漆黑。用户不可能不转动视角,当他快速把视角转到其他地方怎么办?


而视野之外新图像的编码都是以 GOP(group of pictures 图片集 )为单位的,新的图像也需要从 GOP 起点开始解码,而解码帧序列是需要时间的。所以视口快速转动时,用户会看到当前没有正在解码的地方。


爱奇艺世界大会现场图


解决这个问题的办法是再编码一个相对低清一些的一路视频流,比如 1080P 或者 2K,这个一路视频流和 8K 全幅画面在图像上完全一样,只是分辨率和码率低一些。在解码时,始终开启一个解码器解码这种 1080P 或 2K 的码流,并且在解码完成后立即贴到整个渲染球面上,作为一个兜底的显示视频先呈现给用户,以防止“黑场”的出现。


爱奇艺世界大会现场图


当用户旋转视角,若干新的 8K Tile 解码完毕后,会覆盖到这个球面的对应位置,这样用户就可看到更清晰的视频了。上图中,假设用户视口向右移动,原来红色的 Tile 会移出视口,绿色的 Tile 会移入视口,绿色的 Tile 会在一个 GOP 内更新。


爱奇艺世界大会现场图


Tile 的组合方式非常灵活,只要组成 MxN 的矩形就可以,2x2, 2x3, 4x2 等,都可以自由组合。



整个解码渲染的架构如上图所示,数据接收下来后,首先根据用户此时的姿态进行命中 Tile 的计算,得到当前视口内的 Tile 编号列表。然后将 Tile 进行组合,2x2 或 2x3 等方式。接下来,将每个组合好的 Tile 送给对应的解码线程,多线程并行开始解码。各解码器输出的帧,进行 pts 同步之后,最终输送给渲染器。渲染器做反畸变渲染,或直接渲染。


图片来自网络


用户当前的姿态是由 Sensor(传感器)实时给出的,经由球面坐标到平面直角坐标系的变换,可以得到当前用户视口跨越的经纬度范围,进而得到当前都覆盖了球面上的哪些 Tile。


这种方法使得 VR 设备的流媒体播放更加清晰,流畅,同时降低了硬件设备的门槛,使 VR 下的 8k 观感成为现实。


四、VR 行业标准与未来


LiveVideoStack 2019 大会上,Visbit 公司 CTO 周昌印 PPT 中展示的 VR 行业标准


事实上,VR 设备的使用体验,除清晰度外,还受到很多因素的影响,上图是一个较概括的 VR 沉浸感指标,下面挑选其中的几项,做展开说明。

1.MTP 时延


MTP(Motion-To-Photon)是输入动作(头部转动)与屏幕更新显示(从刷新的屏幕发出的光线)之前的时间


图片来自网络


这项指标是非常重要的,好的体验要求 MTP 时延不能大于 20ms,如果时延过大,用户转动视角,而画面没有及时更着变化,体验的感觉是非常眩晕的。

2.镜头畸变引起的图像误差


图片来自网络


径向畸变,光线远离透镜中心的地方更弯曲,以上图为例又分为枕形畸变和桶形畸变。通常畸变率要控制在 1%左右。


图片来自网络


切向畸变,透镜与相机传感器平面不平行,多是安装偏差导致。图像会像“躺着”一样。

3.单眼,双眼视觉效果对比



图片来自网络


人类是双目视觉动物,在现实中双眼看到的目标是有一定视差的,反应在大脑中就是景物更有立体感,景深明显。


其他的例如分辨率,帧率,色阶更为用户熟知,和普通视频的相应概念也类似,就不再重复说明。


以上是 VR 播放的一些技术指标,每种指标都直接影响着用户的观感体验。


最后,我们还想聊聊对于 VR 未来的进展和探索,我们认为主要有以下几个方面:

1.降低编码的码率

图片来自《VR 与自由视角视频关键技术与标准制定》PPT,主讲人,王荣刚,北京大学深圳研究生院


视频编码也是随着清晰度的提高不断地更新换代的,根据国家广电总局《5G 高新视频—VR 视频技术白皮书(2020) 》标准,在 8KVR 清晰度上,尚可使用 H.265 和 AVS2 等编码标准。但在今后 8K 以上的分辨率里,还需要有 H.266/AVS3 等更先进的标准给予支持。AVS3 的预期码率能比 AVS2 减少一半。


图片来自网络


降低码率还可以通过改变投影方式来实现。传统的 ERP(Equirectangular Projection)投影方式,南北极区域被极大的拉伸了,造成很多的像素冗余,给编码带来了额外的码率。


上面的立方体投影和四棱锥投影则是对 ERP 的改进,可以有效地减少需要编码的像素个数。

2.减少传输负载


图片来自网络


如果 360 度球面数据全部通过网络传输,显然需要较高的带宽支持。根据用户在 VR 眼镜中的实际使用数据来看,他们在看视频时很少有 180 度转向这种行为。所以可以考虑只加载半个球面数据,当用户视角稍转时,更新半球面即可。


同时也可以考虑基于深度学习或 AI 等预测算法,预测图像中的热点区域和用户未来的行动轨迹,提前加载热点区域的数据,或运动轨迹上的后续数据。

3.优化解码模块


爱奇艺世界大会现场


解码模块可以支持 CPU+GPU 混合调度,比如 CPU 仅负责解码清晰度相对较低的兜底背景码流。而 GPU 负责解码众多的高清 Tile。


8x8 的划分方式也可以稍做改进,例如南北极区域图像简单,球面模型上的原始像素较少,所以可以把这些区域的 Tile 划分的大一些,解码时用一个解码器即可覆盖更多的原始图像范围。

4.从 3DoF 到 6DoF


图片来自网络


DoF(degree of freedom)即自由度,是 VR 技术当中的一个重要指标,指的是物体在空间里面的基本运动方式,总共有前后、左右、上下、前后翻转、左右摇摆以及水平转动 6 种。关于 DoF,这里不做过多解释。总的来说,DoF 越多,说明物体在空间中运动的方式越灵活。放到影视标准中同理,DoF 越高,允许用户与设备交互的方式也就越多。


用户头像

科技赋能娱乐,“码”出快乐生活 2020.02.13 加入

爱奇艺技术产品团队秉持高效、开放、创新的理念,分享前沿技术,传达爱奇艺生态理念及技术进展。

评论

发布
暂无评论
为什么VR视频的清晰度不高?