定格精彩瞬间!详解六自由度技术原理及应用
在体育赛事中,观赏各项目的精彩瞬间,欣赏运动员的卓越表现是观众们最为关注的焦点。以体操跳马为例,运动员们全力助跑,然后奋力起跳、腾空,接着精准的推手和转体动作,最后稳稳落地,整个动作行云流水,一气呵成。但传统的转播技术一般只能慢动作回放运动员的比赛过程,无法多角度全方位领略运动健儿的矫健身姿,然而,如同科幻大片般的”子弹时间“却能定格运动员的精彩一瞬,在 3D 环绕的场景下,每一个动作多角度清晰呈现,为观众带来一场视觉盛宴。支撑这一切精彩的背后,便是先进的六自由度-子弹时间视频技术。
什么是六自由度-子弹时间视频技术
"六自由度"(6 Degrees of Freedom,简称 6DoF)技术是一种提供用户在三维空间可自由选择剪辑/观看角度及位置的沉浸式视频体验,是全景 360 视频(3DoF 视频)的进一步升级。通过多个 4K 摄像头对真实场景进行视频同步采集、高精度 3D 重建以及高画质渲染技术,将视频的创作和交互空间从二维提升至三维。并且通过在时间域+空间域的自由运镜,提供了视频创作者更灵活的创作空间,显著提升短视频的表现力。6DoF 视频技术具有子弹时间特效、3D 虚拟运镜剪辑、自由视角交互等不同产品形态。
子弹时间(Bullet Time)是一种使用在电影、电视广告或电脑游戏中的摄影技术,用于模拟变速特效,如强化的慢镜头、时间静止等效果。这项技术被广为认知是在科幻电影《黑客帝国》里,其中最为经典的场景莫过于男主角 Neo 仰身躲避子弹的慢动作镜头,观众不仅能从多角度看到子弹飞行的轨迹,还能看到 Neo 在慢动作中的闪避的每一个细节。
六自由度的技术原理
6DoF 技术原理通常用于模拟现实世界的运动,使物体能够在一个三维空间内自由移动。在虚拟现实(VR)、计算机图形学和机器人学等领域中,6DoF 提供了物体的平移和旋转控制,使对象能完全模拟真实世界中物体的移动。
具体来说,六自由度指的是物体能在三个垂直方向上(通常是 X 轴、Y 轴和 Z 轴)平移,以及围绕这三个轴的旋转。平移自由度通常被称为“推”(translation),而旋转自由度通常被称为“拉”(rotation)。
1.平移自由度(3 个):
X 轴平移:物体左右移动。
Y 轴平移:物体前后移动。
Z 轴平移:物体上下移动。
2.旋转自由度(3 个):
滚转(Roll):物体围绕 X 轴旋转。
俯仰(Pitch):物体围绕 Y 轴旋转。
偏航(Yaw):物体围绕 Z 轴旋转。
在视频技术中,6DoF 技术可以捕捉某个瞬间,然后通过后期制作技术,允许观众从不同角度查看这个瞬间,从而创建出所谓的“子弹时间”效果。这种效果通常通过高速摄像机阵列来捕捉动作,然后以慢动作播放,并通过计算机算法调整每个摄像机的视角,允许观众在观看时动态改变视角,从而获得一种超越现实时间限制的视觉效果。
6DoF 视频技术目前是一个快速发展的技术方向,在 2018 年,IEEE 标准组就启动了 6DoF 视频的标准编撰工作,最终在 2022 年发布了 6DoF 视频的第一版标准“IEEE 1857.9”。在这一版的标准中,为了兼顾技术领先性和可落地的实现性,主要采纳了基于多视角深度和纹理的 6DoF 视频表达和渲染方案。标准中重点对于 6DoF 视频的表达,压缩传输,以及渲染进行了详细的定义。如下述图表所示:
6DoF 视频表达
6DoF 视频压缩传输
6DoF 视频渲染
快手六自由度的技术优势与应用
基于快手多年的音视频技术积累和迭代,六自由度-子弹时间视频技术实现了几大优势:
鲁棒性强:无论是户外还是室内,在不同的气候、光线条件下,快手六自由度系统都能稳定运行,完成高精度的建模和渲染,不"娇气”。
渲染速度快:由于计算量庞大,以往“子弹时间”的生成速度都在分钟级,得益于快手自研的 3D 重建、虚拟运镜和渲染技术,生成时间可压缩至 10 秒,时效性倍增。
视觉效果好:快手自研的三维渲染引擎能够将子弹时间的画面还原至 4K 及以上的高清渲染画质,为用户带来更加震撼的视觉体验。
正是这些技术优势,使得快手六自由度-子弹时间技术能够跨越地域与领域的界限,实现广泛的应用场景。在去年第 19 届杭州亚运会,“子弹时间”首次应用于击剑项目国际顶级赛事。快手六自由度技术团队,在克服了“地狱级”难度的剑身建模渲染后,通过赛场内部署的 4K 专业摄像机阵列实时采集的高清竞赛视频,在云端实现“子弹时间”的超高清渲染,在 3 秒内输出比赛的精彩瞬间,超预期地完成了击剑项目的 3D 虚拟运镜效果。
此外,这项技术也在贵州安顺的“村 BA”篮球比赛中大放异彩,清晰捕捉了赛场上任意位置的精彩瞬间,并将这些瞬间向亿万观众进行了分发转播,使得山村篮球文化得以在更大范围内绽放其光彩。
体育赛场之外,六自由度视频技术也存在巨大的应用空间。比如,在快手电商生态中,特别是在商品展示和试穿试戴场景,基于六自由度技术的前期拍摄和后期渲染,模特的试穿效果可以不局限于平面,更能支持全视角运镜。用户可以全方位地查看服装细节,直观感受上身效果,让消费决策更理性。
快手六自由度技术在电商场景应用
未来展望
随着 6DoF 视频技术的快速发展与不断进步,在未来,能够不断逼近真实的去记录各类赛事/演艺等宝贵内容的 3D 视频数字资产,并且基于这些 3D 视频资产,提供创作者在 3D 场景更自由的创作空间,使得视频创作者能够最大化的发挥自身创意,从自己的独特视角和对内容的理解,创作出源源不断的精彩个性化短视频,最终实现技术创新工具为创作者最佳创意服务的初衷。
评论