写点什么

《青春有你 3》的子弹时间舞台,凝筑了自由视角技术进化史

用户头像
脑极体
关注
发布于: 2021 年 03 月 21 日

2021 年,内娱选秀综艺的竞争愈发激烈了。


要让追综多年的“秀粉”们有惊艳和惊喜感,光靠练习生们的颜值及业务能力已经不够,为了激起火花,通过刻意剪辑、选手“互相扯头花”等为上热搜而打造噱头的情况也并不少见。


与这些“骚操作”相比,或许流媒体平台们更需要问自己一个问题:在综艺娱乐节目中,观众还有哪些尚未被满足的需求?


以我自己为例,最近就因为《青春有你 3》刚刚上线的子弹时间被吸引“入坑”了。



作为一个老“综艺鹅”,我可以 120°视角自主操控观看角度,而不是只能通过节目组设定好的某一个角度来欣赏“时间凝固”效果,自由度更高,能够全方位展示选手的业务能力,让秀粉们解锁专属快乐。


另外,《青春有你 3》这次的“子弹时间”对设备的要求也没那么苛刻。我用的是非顶配性能的老款手机,互动体验依然丝滑,高清画面的加载也没有明显延迟。看完之后我想说:内娱还是有点东西的。


黑科技应用频在综艺节目中比重越来越大,会是接下来流媒体平台的“流量密码”吗?


综艺新秀自由视角,是如何一步步进化的?


随着 4K 及 8K 分辨率视频的逐渐推广,平面视频体验几乎已经达到了发展的极限。更高自由度、能给用户提供更多信息的互动式流媒体技术自然也就引发了更多关注。


其中应用最早、最为大众熟悉的互动技术之一,就是子弹时间。


子弹时间依托于一种全新的 3D 视频制作技术——自由视角视频。在《黑客帝国》电影当中,特效团队在摄影棚内圆弧形架设了 120 台摄像机,每台摄影机间隔 1 秒依序拍摄,再通过特效后制,就能为观众展现出全方位环绕、时间停滞一般的“上帝视角”。


不过,此前的子弹时间应用只能算是自由视角技术的初级形态,拍摄的是时间静止时的画面,观众能看到什么是由最终剪辑来决定的,依然无法主动获取任意视角下播放画面。



在此基础上,以 6DoF(Six degrees of freedom)为目标,实现全新交互式体验的“自由视角”应用就出现了。


这种新形式可以拍摄进程中任意时间的 360 度画面。具体方式一般是在体育比赛场馆或综艺录制现场架设高清相机,通过点云重建并在虚拟场景中将各个角度的 2D 视频拼成全景视频,渲染出 360 度的视觉效果。用户可以滑动、旋转手机屏幕来自由选择被拍摄对象运动中的任意视角。


不过,由于自由视角的技术条件要求高,需要摄像机阵列以毫秒级同步拍摄选手状态,在硬件部署、视频压缩、渲染等方面都带来了挑战,因此在实际落地中,节目制作方一般需要在操作自由度与画面信息维度之间做出取舍,比如减少摄像机数量、再利用 AI 插帧的方式来弥补体验不足。


而这次《青春有你 3》中上线的“子弹时间”,则是对自由视角落地方案的进一步升级。


爱奇艺技术产品团队运用几十个高分辨率的摄像头从多个角度捕捉被拍摄物体和场景,还原出三维空间中的场景。再借由独有的编解码、播放技术方案,缓解网速导致的超高清视频加载速度过慢这一痛点,既能保证高清画质,并且对终端设备的性能要求大幅下降,让更多人可以低门槛地感受到高自由度观看的魅力。


在技术驱动的时代大幕中,科技手段也成为流媒体产业逃离同质化窠臼的利器。海外有 Netflix 利用 AI 算法提升个性化推荐效果的案例,国内则有爱奇艺这样不断探索高自由度交互式体验的典范。这种尝试,也让爱奇艺又一次在娱乐公司中立稳了“技术人设”。


穿透体验困境:爱奇艺的技术“双叉戟”


对于一项新技术来说,所覆盖的观众广度与普及效率显然是首要任务。但长期以来,自由视角技术都存在两个基础难题:


一是视频高分辨率与自由度之间的矛盾。视频分辨率从 1080p 到 4K 等不断提升,要实现大角度、高自由度的交互效果,只有性能很高的手机能实现解码支持,流畅地进行播放。


二是网络传输与流畅度之间的矛盾。高清且高自由度的视频整体数据传输量高,对带宽的需求很大,网络环境不够理想的观众,观看高自由度视频的体验会受影响。


那么,平价机型也能玩转的《青春有你 3》自由视角,又是怎么实现的呢?


这次,爱奇艺也祭出了流媒体技术和数据加载解决方案的“双叉戟”:


一方面,通过编解码技术,实现了时空双路径编码视频流、多路解码器并行解码。具体来说就是可以按时间、空间两个维度对视频进行解码,时间维度码流可以让用户在切换观看视角时稳定加载,空间维度码流则在静止场中保证稳定精细化的旋转效果。此外,爱奇艺还通过专利技术建构了多路 CPU/GPU 复合解码器架构,可以自适应多路码流来进行动态解码,随着用户的实时视角旋转来切换解码区域。然后借助超低延迟的渲染互动技术,在用户转动视角时直接“通知”渲染引擎实时更新画面。


这一套“组合拳”下来,普通终端也能体验到流畅、高清的高自由度视频。


针对网络问题,爱奇艺则使用了创新的“主流+底流”数据加载方案。在观看高自由度视频时,通过“主流+底流”传输可以将数据连续、实时地传送到终端,大幅提高传输效率,缩短了互动延时,用户可以流畅地进行播放和切换。同时实现了 GOP 级视角数据的切换与加载。


凭借技术创新,更广泛受众玩转自由视角的体验障碍,就这样被爱奇艺一一拔除了。


自由视角的产业进行时:用连锁反应重构产业链条


如果自由视角技术只能应用在一部或几部作品中,必然无法降低平台的制作成本,也很难说彻底变革大众的观看习惯。


能够让自由视角技术真正普及的前提,是去掉规模化应用的限制,提升技术的落地效率,才能让更多综艺、剧集的观众快速感受到新交互体验的魅力所在。


爱奇艺在《青春有你 3》中除了技术落地之外,也对背后的视频生产与制作环节进行了改造。


首先,针对自由视角视频前期硬件投入高,传统算法效率低,制作风险较大的痛点,打造了一系列系统级工具,以期实现高自由度视频的智能化拍摄。


比如爱奇艺打造了一套自由视角下的虚拟环境拍摄系统,能够基于三维渲染技术,渲染出一套和真实场景及尺寸一致的虚拟场景。制作方可以精确部署虚拟相机阵列,模拟真实相机拍摄素材,低成本、高效率地设计出自由视角拍摄相机阵列的部署方案,降低子弹时间、点云、自由视点等多种视频的制作风险。



在实际拍摄过程中,爱奇艺也通过自研的一套相机阵列智能调节系统将每台相机进行参数标定,对它们进行统一调节,将繁杂的部署工作时间大大缩短。


针对视角切换中可能出现的画面抖动,爱奇艺还设计了一套画面稳定算法系统,可以在视频拍摄完成后,在后台对素材自动进行稳定处理,不用后期制作人员再费时费力地手动调节,效果也大大提升。


在后期的视频制作中,爱奇艺则将摄像机的控制、基于模板的自由视角视频编辑与创作、自由视角视频的导出与回放等功能整合在一起,输出成了自由视角视频创作中控系统的整套集成方案。


编导可以基于预先设计好的模板,进行现场快捷创作,例如曲线模板编辑,对当前录制场景所产生的实际效果的效果预览。


创作好的自由视角视频,可输出到现场导播切换台、外部监视器及现场大屏等设备上,方便制作团队及时调整、查漏补缺。



和所有新兴技术一样,自由视角因为投入大、成本高、拍摄制作周期长,令内容生产者望而却步。但现在,爱奇艺的一系列生产工具前所未有地提升了高自由度视频的产业效率,让创作者可以低门槛地使用这一技术来建立内容差异化优势。


也就是说,爱奇艺已经在高自由度视频所需要的流媒体技术、基础算法、硬件协同、场景适配、生产制作等关键环节上,都有了技术沉淀,可能引发的连锁反应将是革命性的,也让我们看到了流媒体产业的进化方向。


解优质内容之渴,爱奇艺的技术革命


近年来,自由视角、VR、AR 等技术在流媒体产业出现的越来越高频。为什么平台们不惜重金,也要在黑科技领域“整活”?


当平面视频已经趋近极限的时候,占据极高比例的年轻观众对多样化、个性化的追求,也给内容的差异化创新带来了挑战。像子弹时间、自由视角这样的高自由度视频,能够打破平面观看的束缚,给用户体验带来质的提升,自然也就成为“兵家必争之地”。


在此基础上,爱奇艺选择更进一步,在更上游的生产侧进行改造,不仅能够有效降低高自由度视频的制作门槛与成本,进入良性循环;而且率先建立起了行业标准和模板,开启一场内容产业的人才与创意争夺战。


这绝对是一件利在当下、功在未来的事。


2021 年,是内地综艺娱乐进入存量竞争的一年,也是内容消费开始回归价值和收获感的一年。远离低质、同质化、缺乏诚意的节目和作品,已经成为观众们迫切且一致的呼唤。


从这一点上看,爱奇艺《青春有你 3》上线子弹时间,也打开了一扇充满惊喜的大门,包含着高自由度视频交互体验席卷而来的无限想象。


用户头像

脑极体

关注

还未添加个人签名 2020.06.12 加入

还未添加个人简介

评论

发布
暂无评论
《青春有你3》的子弹时间舞台,凝筑了自由视角技术进化史