快手 Vision Pro 版实测体验!沉浸模式,刷视频绝了!
导读
6 月 28 日国行版的 Vision Pro 开售,快手同步推出了快手 vp 版 app,成为国内首批登陆 Apple Vision Pro 的短视频平台。基于 visionOS 操作系统进行了深度的定制化开发,快手 vp 版 app 为用户带来全新的沉浸式交互方式。本篇将为你深入解析快手 vp 版 app 的特色功能与技术实践,带你领略这一跨时代产品的魅力所在。
一、前言
Vision Pro 是苹果推出的首款头戴式显示设备,它内置了多个精密传感器和高清摄像头,支持手势、眼动追踪或语音识别等多种控制方式,使用户能够轻松自如地与设备进行交互。通过其高清晰度的 Micro-OLED 显示屏,Vision Pro 为用户呈现出细腻逼真的画面,带来身临其境的视觉享受。
6 月 28 日,国行版的 Vision Pro 正式开售。与此同时,快手同步推出了其专为 Apple Vision Pro 打造的版本——快手 vp 版 app,成为国内首批登陆 Apple Vision Pro 的短视频平台。借助先进的混合现实技术,用户可以在快手上体验更真实生动的视频内容,无论是观看趣味短视频内容,还是参与点赞评论等互动,都能获得更加智能的互动和更加沉浸的视觉体验。
快手 vp 版的第一手使用体验来了!先一起感受下:
二、实测体验
在快手 vp 版 app 中,我们并非简单地将传统的点赞、评论、收藏转发等功能“照搬”到 Vision Pro 中,而是基于 visionOS 操作系统进行了深度的定制化开发。快手精心打造了一系列创新功能,旨在满足用户日益多样化的需求,为观看短视频的打造全新的交互方式。快手 vp 版 app 致力于打破触媒的次元壁,让用户享受更加自由、便捷和个性化的沉浸式交互体验。
沉浸式主题交互:保留原汁原味的播放与交互体验
快手 vp 版 app 原生核心巧妙地融合了短视频的播放与互动功能,将其无缝嵌入到 VP 构建的三维空间中。我们充分利用了 Apple Vision Pro 的前沿技术,突破了传统移动设备的屏幕尺寸限制,为用户带来耳目一新的观影感受。

多面板交互:视频观赏与个人主页、评论同步呈现
用户在享受视频内容的同时,可以轻松浏览作者个人主页和评论面板,深入了解作者的其他作品以及粉丝互动情况。这种多面板交互的方式不仅更全面地获取视频信息,还丰富用户的观看体验,极大地提升了观看的乐趣和效率。

沉浸模式:环绕式九屏视频,手势切换畅想视觉盛宴
快手 vp 版 app 引入了独特的沉浸模式,让用户仿佛置身于一个真实而生动的场景中。视频以约 150 度的视角围绕用户播放,同时支持同时欣赏九个环绕式排布的视频。用户只需轻轻抬起左右手摆动,即可轻松切换作品,享受无缝衔接的观影乐趣。

环绕弹幕:让弹幕“跃”出屏幕,环绕你的观影之旅
当处在普通模式,视频弹幕如常,静静地居于屏幕上端滚动播放。然而,当你渴望更深入的沉浸体验时,视频弹幕也可以一秒“活”过来,从传统屏幕上跳跃而出,悬浮在视频画面之外,环绕用户滚动播放。这一巧妙的设计避免了弹幕对视频画面的遮挡,使用户能够不受干扰地欣赏视频内容。

手势 3D 点赞动效:手指比心,轻松表达喜爱
快手 vp 版 app 还巧妙地将 visionOS 的手势操作融入了短视频的播放控制与互动功能中,用户只需简单地通过手指比心,就能轻松表达对作品的喜爱和点赞。这种全新的交互方式不仅增强了用户的参与感,也让短视频的观看和互动变得更加自然和便捷。

三、背后的技术实践
快手 vp 版 app 的沉浸式体验、环绕弹幕、手势点赞等特色功能,是技术创新与创意设计完美结合的产物。接下来,我们将深入揭示这些特色功能背后的技术实践。
快手 vp 版充分利用 Vision Pro 强大的空间计算能力,在普通模式中使用全新的“体积窗口”来展现具有立体效果的多角度面板,使得用户能够从多个角度欣赏内容,增强视觉体验的深度和层次感。在沉浸模式中将视频环绕放置在用户周围,给用户提供最真实的体验。使得视频浏览不再局限于单一的屏幕,将画幅扩充无限大,作品扩充无限多,信息获取无限快。
沉浸式视频与弹幕环绕
Immsersive Space 沉浸空间,是 visionOS 中专门用于在无边界空间中呈现三维内容的场景,也是快手 vp 版沉浸模式的基础。在沉浸空间中,每一个所能看到的物体都被称为 Entity(实体),具有缩放、平移和旋转等三维属性,可以在 Vision Pro 的视角中自由控制其大小和在真实世界中摆放的位置,快手 vp 版基于该特性,将平面视图转换为 Entity,将视频放置于用户身边。
Vision Pro 在开启沉浸空间后,会以用户为原点,构建一个以用户正前方为 Z 轴负方向、右方为 X 正方向,基本单位为米的三维坐标系。

为了实现作品视图的环绕分布(下文以“环绕体”代称具有环绕分布的视图实体组),需要考虑各个视图实体在现实空间内的三维变换。构建环绕体,需要约束 6 个条件:
①环绕体的半径,②环绕体的可视角度/弧度范围, ③主视图的宽度,④次级视图的宽度, ⑤主次视图的间距, ⑥次级视图的间距。
通过上述条件,即可构建一个结构唯一的空间视图模型:

环绕体俯视图模型

实际环绕体俯视图
通过给定条件进行二维模型计算,将计算结果从二维俯视增加 Y 轴转换为三维空间,即可求出主视图以及各个次级视图在真实世界中的位置和旋转,并将其应用到沉浸空间中的视图实体,即可实现视图环绕用户的立体效果。同时可根据用户对视图实体的拖动变化量,转换为每个视图实体的平移与旋转,进一步实现视图实体的拖动跟手、滚动切换等逻辑。环绕体模型中视图三维变换的计算过程可参见下图。

通过视图变换方程,最终可得到一个可视范围最大可至 360°的可拖动环绕体(下图例为 270°),实现环绕式的绝佳浏览体验。沿着环绕体进行漂浮的空间弹幕也基于上述结果实现,利用构成环绕体的基本方程式,即可获取空间弹幕在渲染时每帧所需要修正的三维变换。空间弹幕突破了传统平面弹幕的限制,呈现出一种全新的、立体的弹幕效果,使得用户在浏览内容时能够享受到更加丰富和动态的视觉体验。

空间手势交互
为了更贴合 Vision Pro 的空间氛围,带给用户如同“钢铁侠 托尼·史塔克”般的科技操纵感,快手 vp 版在沉浸模式中进行了创新设计,引入了更加符合日常浏览直觉的手势操作,使用户能够以更加自然和直观的方式与内容互动。用户只需通过手掌闭拢并轻轻挥动,即可轻松实现作品的切换。这种手势操作不仅简化了用户的交互过程,还增强了沉浸感和操控的流畅性,体验到前所未有的便捷与乐趣。

手势识别离不开 ARKit 的助力。ARKit 是 Apple 开发的一套增强现实开发工具包,最初在 iOS 在推出,现在也可用于 visionOS 中。其提供了一系列包括空间感知、运动追踪等强大的功能和工具,能够创建逼真的 AR 体验。在快手 vp 版中,充分利用了 Vision Pro 多摄像头和传感器识别用户的手部动作和手势,实现自然的空间交互。通过 ARKit,设备能够实时检测和跟踪用户的手部位置和姿态,可以识别手部的各种关键点,如手指关节和手掌位置,从而精确地捕捉手部的运动。下图为 Apple 提供的手部关键点名称。

通过约束手部关键点之间的空间变换关系,可以实现对不同手势的精确识别。例如可通过食指和大拇指相应关节的相对位置以及角度差值来定义比心手势,为了防止误判,还可在手势判断中加入与其他手指关节的变换约束来提高识别的准确性。本文示例通过在两只手的关键点上添加鲜艳的标记实体,直观地展示了两种手势及其对应手部各关节的空间变换。

滑动手势

比心点赞手势
四、未来展望
在未来,快手 vp 版将充分挖掘 Vision Pro 的空间特性,持续带来更精彩、更具空间感的浏览体验。我们将提供更多样的视频预览功能,帮助用户更快捷地筛选自己感兴趣的视频,或是与好友一起在沉浸空间中观看视频,共同享受视频带来的乐趣,感受跨越空间的分享体验。同时,快手 vp 版将引入全景视频和空间视频,让用户仿佛置身于视频中的世界,享受身临其境的观感。快手始终致力于通过不断优化和创新,为用户提供更加丰富多样的互动体验。
本文作者:朱华杰
版权声明: 本文为 InfoQ 作者【快手技术】的原创文章。
原文链接:【http://xie.infoq.cn/article/6d0c6cc7312291e7cc52f3804】。文章转载请联系作者。
评论