写点什么

Sora 文生视频技术大揭秘:能力惊艳但局限几何?

  • 2024-12-26
    北京
  • 本文字数:1567 字

    阅读完需:约 5 分钟

全面解析软件测试开发:人工智能测试、自动化测试、性能测试、测试左移、测试右移到DevOps如何驱动持续交付 

Sora 官网地址:https://openai.com/sora


文生视频指的是将文本描述转化为视频内容的技术,2024 年 2 月 15 日 OpenAI 正式对外发布 Sora 人工智能模型,在人工智能领域掀起了一场风波,这是计算机视觉领域的一个突破。

Sora 这一名称起源于日文中“空”的含义,暗示了其具备的无限潜力。OpenAI 也在报告中将 Sora 定义为 “word simulators” 即世界模型或者世界模拟器,可见 OpenAI 对于 sora 的能力具备足够的信心。

注意:个人暂时无法体验。

Sora 的能力

Sora 是一种扩散模型,旨在对语言更深入的理解,使得模型能够准确的识别出文本的含义,OpenAI 官方表明 Sora 能够生成 1 分钟的高清视频,并且给出了一个视频生成的示例,该示例展示出了 Sora 根据文本内容所生成的一段视频信息:

  • 提示文本:一个时髦的女人走在东京的街道上,街道上充满了温暖发光的霓虹灯和生动的城市标志。她穿着黑色的皮夹克,红色的长裙和黑色的靴子。

  • 视频地址:https://cdn.openai.com/tmp/s/title_0.mp4

可以看出,Sora 根据文本所产生的视频完美地展示了文本所表达的含义,并且视频的质量非常出色。除了描述的主体内容外,视频还展示了与天气和时间相关的光影效果,增添了画面的层次和真实感。

Sora 除了根据文本生成视频,还可有以下几种生成视频的方式:

扩展能力

3D 一致性

Sora 还可以在单个生成的视频中创建多个镜头,准确地保留视频主体和视频的风格,使得视频主体可以跟随环境的变化而一同变化。

如下这个视频所示,视频从头到尾都围绕着两个人物,当周围场景变换时,两个主体人物也随之自然地调整位置和距离。在切换回大远景时,视频的主题也会自然地从人物转换为城市景观,完美地保持了连贯性和流畅度。

视频地址:https://cdn.openai.com/tmp/s/simulation_0.mp4

远程相干性和物体持久性

Sora 也有处理空间物体依赖性的能力,保持物体在短视频或长视频中的空间关系,如下图所示,虽然场景在不断的进行,但是窗边的斑点狗并不会因为人物的穿行而消失或者覆盖人物。

视频地址:https://cdn.openai.com/tmp/s/simulation_2.mp4

与世界交互性

Sora 还可呈现出视频中物体的变化状态,如下图所示,在被咬过的汉堡上能够成功的出现咬掉的痕迹:

视频地址:https://cdn.openai.com/tmp/s/simulation_5.mp4

Sora 的局限性

  • 不能准确模拟许多基本相互作用的物理过程。

  • 与物体的交互并不总是产生对象状态的正确变化。

  • 混淆提示空间细节,例如混淆左右。

现状

文生视频还处在开发并且测试的阶段,基于安全考虑,目前 Sora 还是仅仅是邀请 “red teamers” 也就是对抗性角色领域的专家来对 Sora 进行安全测试。

并且还会和各个领域的政策制定者,避免 Sora 技术的滥用和可能带来的不良影响。

推荐学习人工智能测试开发训练营,为大家提供全方位的人工智能测试知识和技能培训。行业专家授课,实战驱动,并提供人工智能答疑福利。内容包含ChatGPT与私有大语言模型的多种应用,人工智能应用开发框架 LangChain,视觉与图像识别自动化测试,人工智能产品质量保障与测试,知识图谱与模型驱动测试,深度学习应用,带你一站式掌握人工智能测试开发必备核心技能,快速提升核心竞争力!
复制代码



用户头像

社区:ceshiren.com 微信:ceshiren2023 2022-08-29 加入

微信公众号:霍格沃兹测试开发 提供性能测试、自动化测试、测试开发等资料、实事更新一线互联网大厂测试岗位内推需求,共享测试行业动态及资讯,更可零距离接触众多业内大佬

评论

发布
暂无评论
Sora 文生视频技术大揭秘:能力惊艳但局限几何?_测试_测吧(北京)科技有限公司_InfoQ写作社区