为什么 VR 视频的清晰度不高？

VR 内容的清晰度一直以来广受关注，也是提升用户沉浸感体验的重要因素。不过，体验过 VR 视频的不少用户都会抱怨：我们看的明明是 4K 甚至是 8K 内容，可实际观感还不如手机 1080P 的画质。是我买了个假 VR 设备？还是看了个假 4k 内容？

为什么 VR 视频的清晰度不够高呢？这里面有几点或许需要我们厘清。

一、4k 画质不等于 4K 观感

对于传统视频的播放，用户们都很熟悉，就是使用手机，ipad，电视这些媒介去看视频。在我们面前的是一个比较小的屏幕，用户只能盯着屏幕去观看。传统的视频观看已经发展很多年了，在这期间，用户体验的提升主要靠的是视频分辨率的增加。从传统的 DVD 到现在的 4K/8K，视频的清晰度已经提高了 N 倍以上。

图来自网络

分辨率的提升是否有尽头，是否提高分辨率就是提高用户的观看体验呢？

事实上，在屏幕分辨率和实际观看感受之间还有一个重要指标——PPD（Pixels Per Degree），即每角度人眼看到的像素点，这才是衡量视频观看清晰度的核心标准。

以视网膜屏幕的手机为例，假设用户距离手机屏幕 30cm，手机屏幕在用户视野中水平所占据的度数大约是 10 度。根据苹果对视网膜屏幕的界定，这样的屏幕宽度大约是 600 个像素，也就是相当于，每一度视场角被分配了 60 个像素，即 60PPD，而这就意味着在视觉上达到了视网膜级别的效果。

正是在这个意义上，4K 的屏幕分辨率，并不一定代表超高清的观看体验，关键要看人眼能够从中获取的像素点的多少。在正常距离观看传统的屏幕时，用户基本能够看到整块屏幕，因此整屏分辨率和用户观看体验较为一致。

但在 VR 视频这种立体观看场景中，用户相当于拿着一只放大镜在看屏幕，用户观看的只是屏幕的一个小块，它对于视频分辨率的要求自然也会呈指数级上升。

二、VR 眼镜的 PPD

图片来自网络

那么，来到第二个问题，用户在距离 40CM 的 2K 分辨率的手机屏幕面前，或者在 2 米外的 8K 电视面前的观看体验能达到多少 PPD 呢？下图给出一个粗略的数据。

表格数据来自《VR 与自由视角视频关键技术与标准制定》PPT，主讲人，王荣刚，北京大学深圳研究生院

可见，看 4K 电视时，用户的 PPD 已经可以达到 80+了，已经超过了视网膜显示效果的上限。有研究者做过相关的实验，让不知情的用户分别观看 4K 和 8K 的电视，然后自主分辨电视的清晰度，结果是正确与错误的判断几乎相当。

但是回到 VR 设备，上图里的 VR 设备，毫无例外 PPD 都直线下降，远远达不到 60PPD 这个视网膜标准。为什么在 VR 设备中，同样的像素会这么模糊呢？

图片自来网络

通常的 VR 视频，是一个球面模型，用户相当于站在球心向外观看，由于人眼的视角有限，所以在同一时间，用户只能看到 360 度球面的一小部分。当用户转动视角时，才能看到球面的其他部分图像。

用户看到的这个区域，我们称之为“视口”（Viewport），即是上图里的黄色区域。

这时我们就比较好理解为什么 VR 不清晰了：如果整个球面是一个 4K 分辨率的视频，那用户观看到的，大概仅仅是一个 1K x 1K 左右分辨率的小区域，PPD 数值大大降低，画质模糊在所难免。

三、如何提升 VR 视频的清晰度

那我们该如何提升 VR 视频的清晰度呢？提升用户的使用体验呢？

第一种方法就是提升视频的分辨率，从理论上来说，只要整屏清晰度达到一定高度，VR 观感也会相应提升。

但是单纯地提高分辨率，4K 不清晰就 8K，8K 不清晰就 16K，这样可以吗？

事实是，这种等级的清晰度的提高，编码，传输，解码的复杂度都是成倍增加的。目前能够对一幅 8K 全图实时解码的手机设备就已经非常有限了，更不用说 8K 以上的清晰度。

所以现有硬件设备的性能很快就会达到瓶颈，是无法满足如此高清的流媒体播放的，根本无法大规模生产，送到用户的眼前。

现在市面上的 VR 设备较为通用的解决方法是：既然用户只能在 VR 中看到一小块区域，那就只解码这一小块区域的图像，让用户观看，当用户转动视口后，再更新相应的区域。

由于目前的编码技术基本都是针对矩形图像块来编码的，那么我们可以把原图做一个 4x4 分割，将每个小块独立编码。如果原图是 8K 的(7680x4320)，则每个分割后的小块刚好是 1080P 的。这样一来，似乎我们只需要判断用户当前的视口在哪里，覆盖了几个小块，然后仅仅去解码这几个小块，渲染到窗口上就可以了。

这样做确实能够解决部分问题，能降低一些解码的负担，但是这种划分是不太理想的。从上图中仔细观察就可以得到答案：如果用户的视口在图上位置，我们需要同时解码 9 个小块(即解码全图的 9/16)，但其实用户主要视口都在这 9 块中的最中心的 1 块上，边缘的 8 个小块，虽然都被解码出来，但仅仅渲染一点边边角角。解码资源还是被浪费了很多。

而如果再对画面进行细分，又会增加解码器的数量，通常来说，手机或 VR 一体机上，硬件解码器的个数都是有限制的，不能创建太多，一次性开放太多硬解码器，是不可行的。

针对这个问题，爱奇艺技术团队也经过了一系列实践，提出了自己的解决方法，选定了 Tile 分块编码方式，以此实现 VR 下的 8K 技术。

简单地说，就是一帧图像，可以划分成若干个矩形子块，每个块的编码参数保持一致，但分别独立编码。在解码时，只需要把 MxN 个块拼成一个矩形，各块的帧数据头尾相接，一起输送到解码器里，解码后的图像就是一个 MxN 分割的图案，在渲染时把相应区域渲染到窗口上就可以了。这样就起到了降低解码器个数的作用。

爱奇艺世界大会现场图

如上图所示，8K 视频做了 8x8 分割，用户视口是黄色区域部分，此时可见 12 个小块，假设我们把每 4 个小块组合在一起，形成一个 2x2 的矩形，一起输送给解码器。那么仅需要 3 个解码器就可以覆盖这个场景。

目前用户视口内区域的解码显示问题，已经比较完善的被解决了。但视口外的大片区域现在还是一片漆黑。用户不可能不转动视角，当他快速把视角转到其他地方怎么办？

而视野之外新图像的编码都是以 GOP（group of pictures 图片集 ）为单位的，新的图像也需要从 GOP 起点开始解码，而解码帧序列是需要时间的。所以视口快速转动时，用户会看到当前没有正在解码的地方。

爱奇艺世界大会现场图

解决这个问题的办法是再编码一个相对低清一些的一路视频流，比如 1080P 或者 2K，这个一路视频流和 8K 全幅画面在图像上完全一样，只是分辨率和码率低一些。在解码时，始终开启一个解码器解码这种 1080P 或 2K 的码流，并且在解码完成后立即贴到整个渲染球面上，作为一个兜底的显示视频先呈现给用户，以防止“黑场”的出现。

爱奇艺世界大会现场图

当用户旋转视角，若干新的 8K Tile 解码完毕后，会覆盖到这个球面的对应位置，这样用户就可看到更清晰的视频了。上图中，假设用户视口向右移动，原来红色的 Tile 会移出视口，绿色的 Tile 会移入视口，绿色的 Tile 会在一个 GOP 内更新。

爱奇艺世界大会现场图

Tile 的组合方式非常灵活，只要组成 MxN 的矩形就可以，2x2, 2x3, 4x2 等，都可以自由组合。

整个解码渲染的架构如上图所示，数据接收下来后，首先根据用户此时的姿态进行命中 Tile 的计算，得到当前视口内的 Tile 编号列表。然后将 Tile 进行组合，2x2 或 2x3 等方式。接下来，将每个组合好的 Tile 送给对应的解码线程，多线程并行开始解码。各解码器输出的帧，进行 pts 同步之后，最终输送给渲染器。渲染器做反畸变渲染，或直接渲染。

图片来自网络

用户当前的姿态是由 Sensor(传感器)实时给出的，经由球面坐标到平面直角坐标系的变换，可以得到当前用户视口跨越的经纬度范围，进而得到当前都覆盖了球面上的哪些 Tile。

这种方法使得 VR 设备的流媒体播放更加清晰，流畅，同时降低了硬件设备的门槛，使 VR 下的 8k 观感成为现实。

四、VR 行业标准与未来

LiveVideoStack 2019 大会上，Visbit 公司 CTO 周昌印 PPT 中展示的 VR 行业标准

事实上，VR 设备的使用体验，除清晰度外，还受到很多因素的影响，上图是一个较概括的 VR 沉浸感指标，下面挑选其中的几项，做展开说明。

1.MTP 时延

MTP（Motion-To-Photon）是输入动作(头部转动)与屏幕更新显示(从刷新的屏幕发出的光线)之前的时间。

图片来自网络

这项指标是非常重要的，好的体验要求 MTP 时延不能大于 20ms，如果时延过大，用户转动视角，而画面没有及时更着变化，体验的感觉是非常眩晕的。

2.镜头畸变引起的图像误差

图片来自网络

径向畸变，光线远离透镜中心的地方更弯曲，以上图为例又分为枕形畸变和桶形畸变。通常畸变率要控制在 1%左右。

图片来自网络

切向畸变，透镜与相机传感器平面不平行，多是安装偏差导致。图像会像“躺着”一样。

3.单眼，双眼视觉效果对比

图片来自网络

人类是双目视觉动物，在现实中双眼看到的目标是有一定视差的，反应在大脑中就是景物更有立体感，景深明显。

其他的例如分辨率，帧率，色阶更为用户熟知，和普通视频的相应概念也类似，就不再重复说明。

以上是 VR 播放的一些技术指标，每种指标都直接影响着用户的观感体验。

最后，我们还想聊聊对于 VR 未来的进展和探索，我们认为主要有以下几个方面：

1.降低编码的码率

图片来自《VR 与自由视角视频关键技术与标准制定》PPT，主讲人，王荣刚，北京大学深圳研究生院

视频编码也是随着清晰度的提高不断地更新换代的，根据国家广电总局《5G 高新视频—VR 视频技术白皮书(2020) 》标准，在 8KVR 清晰度上，尚可使用 H.265 和 AVS2 等编码标准。但在今后 8K 以上的分辨率里，还需要有 H.266/AVS3 等更先进的标准给予支持。AVS3 的预期码率能比 AVS2 减少一半。

图片来自网络

降低码率还可以通过改变投影方式来实现。传统的 ERP(Equirectangular Projection)投影方式，南北极区域被极大的拉伸了，造成很多的像素冗余，给编码带来了额外的码率。

上面的立方体投影和四棱锥投影则是对 ERP 的改进，可以有效地减少需要编码的像素个数。

2.减少传输负载

图片来自网络

如果 360 度球面数据全部通过网络传输，显然需要较高的带宽支持。根据用户在 VR 眼镜中的实际使用数据来看，他们在看视频时很少有 180 度转向这种行为。所以可以考虑只加载半个球面数据，当用户视角稍转时，更新半球面即可。

同时也可以考虑基于深度学习或 AI 等预测算法，预测图像中的热点区域和用户未来的行动轨迹，提前加载热点区域的数据，或运动轨迹上的后续数据。

3.优化解码模块

爱奇艺世界大会现场

解码模块可以支持 CPU+GPU 混合调度，比如 CPU 仅负责解码清晰度相对较低的兜底背景码流。而 GPU 负责解码众多的高清 Tile。

8x8 的划分方式也可以稍做改进，例如南北极区域图像简单，球面模型上的原始像素较少，所以可以把这些区域的 Tile 划分的大一些，解码时用一个解码器即可覆盖更多的原始图像范围。

4.从 3DoF 到 6DoF

图片来自网络

DoF（degree of freedom）即自由度，是 VR 技术当中的一个重要指标，指的是物体在空间里面的基本运动方式，总共有前后、左右、上下、前后翻转、左右摇摆以及水平转动 6 种。关于 DoF，这里不做过多解释。总的来说，DoF 越多，说明物体在空间中运动的方式越灵活。放到影视标准中同理，DoF 越高，允许用户与设备交互的方式也就越多。