本文分享自华为云社区《Sora Opera：天图万境联合华为云共筑AI生成式视频音效新高度》，作者： 华为云社区精选。

在人工智能技术的飞速发展浪潮中，天图万境科技有限公司（以下简称“天图万境”）联合华为云共同推出 AI 创新的声音生成工具——Sora Opera。这一突破性的技术将为 AI 生成式视频领域带来革命性的变革，提供前所未有的高效声音解决方案。

2024 年 3 月 1 日华为云计算专家委员会媒体 AIGC 专题研讨会上，Sora Opera 首次亮相。华为云 HCDE 专家、天图万境创始人图拉古导演在活动现场展示了 Sora Opera 是如何为 AI 生成式视频制作音效的。

图古拉表示，用户只需要上传一段视频，并且无需任何提示词，Sara Opera 就会自动的生成四个不同风格的音效视频，用户可以从中提取出一个来，又或者可以继续生成。

（Sora Opera 的操作界面）

1 华为云昇腾 AI 云服务加持下，Sora Opera 打造 AI 高质量视听体验

Sora Opera 的诞生，标志着在视频领域中声音合成技术迎来一个质的飞跃。这一技术的背后，华为云昇腾 AI 云服务提供的长稳 AI 算力服务发挥了至关重要的作用。

在如今大模型时代，海量算力需求日益增长，华为云昇腾 AI 云服务为千行百业提供了更加多元、高效且长稳的算力服务选择。在千卡训练的环境下，其长稳率高达 90%，这意味着即便在长时间的训练过程中，也能保证服务的稳定性和可靠性。更值得一提的是，训练作业若发生故障，能够实现自动恢复，非自动场景下恢复时长也控制在小于 30 分钟，极大地提高了训练效率。

为了能够更好的提供算力支持，加速 AI 技术的迭代与创新速度，华为云在贵安、乌兰察布、芜湖打造了 3 大 AI 云算力中心，为企业提供澎湃昇腾 AI 算力。同时，华为云还构建了一个高效且稳定的大模型训练环境，并配备了一套完备的工具链。该工具链能够实现千卡训练连续 30 天不中断，并且任务恢复时长也控制在 30 分钟以内。此外，通过 30 多个可视化调优和部署工具，企业能够更高效地处理数据、微调模型以及 Prompt 工程等工作，从而将过去一个需要 5 个月才能完成开发的千亿参数行业模型，缩短至仅需 1 个月，整体开发速度提升了 5 倍。

Sora Opera 正是借助了华为云昇腾 AI 云服务的强大算力，结合天图万境 AI 技术在视听领域的深厚积累，实现了声音合成的重大突破。它能够在短时间内生成高质量、与画面节奏完美契合的自然流畅声音，为 AI 视频制作带来了前所未有的便利。不仅如此，Sora Opera 还能深入解读视频的内容和表达含义，根据视频内容自动调整声音的情感和节奏，使生成的视频更加生动、真实，为用户带来沉浸式的视听体验。

2 带你感受 Sora Opera 的 7 大功能

Sora Opera 的推出，预计将极大地促进 AI 生成式视频内容的创新和发展。无论是在娱乐、教育还是广告领域，Sora Opera 都将为用户提供更加丰富和多样化的声音选择，使得视频内容更加吸引人，同时也为 AI 技术的应用提供了更广阔的空间。

Sora Opera 不仅能为 AI 生成的视频配音，还能为已经存在的视频进行新的声音处理，这将是视频声音制作行业的一种新的可能的新方式，为艺术家提供更多灵感。

2.1 Sora Opera 支持本地导入的视频素材

Sora Opera 为短视频和电影行业带来更多可能性。Sora Opera 的专业版可以支持长达 60 分钟的完整视频配音，用户还可以将自己拍摄的素材导入到 Sora Opera 即可获得新的音效或者新的灵感。

2.2 Sora Opera 支持经过加速后的视频素材

Sora Opera 可以根据画面节奏，处理非常复杂的内容信息，比如说经过加速处理的视频内容，Sora Opera 也可以精准的为其匹配音效。

2.3 Sora Opera 智能分辨视频中内容可能涉及到的声像关系

Sora Opera 可以精准的识别图像的节奏以及与画面之外可能存在的声像关系，比如除了摸花朵的声音之外，我们还听到了衣服摩擦的声音。

2.4 Sora Opera 高度还原物理世界真实声音现象

Sara Opera 可以理解真实世界的声音生产的规则，并尽可能准确的还原这些声音，例如当咖啡机开始制咖啡的时候，它会有启动声音，当咖啡机结束制作液体回吸的时候，它会有一个停止的声音，而我们仔细观察就会发现，当声音停止的时候，咖啡机的导管中刚好是咖啡倒吸的过程。

2.5 Sora Opera 处理损坏的 AI 视频

Sora Opera 甚至还可以为那些坏掉的 AI 视频重新配一种更加魔幻的音乐，产生有趣的效果。

2.6 Sora Opera 精准处理绿幕场景下的视频素材

Sora Opera 还专门针对绿幕制作的素材进行了训练，它可以根据画面的人物状态和动作以及画面中所包含的道具进行精准的的卡点配音。

Sora Opera 还专门针对声音可能形成的声源和额外的可能同声源数据进行了训练，它可以理解并识别画面之外的信息，例如它可以为画面外的风机进行配音。而这一切的过程都无需输入任何提示词，用户只需要上传和下载即可。

2.7 Sora Opera 支持基于纯文字生成音效

Sora Opera 除了可以直接为 AI 视频提供稳定的画面音效之外，还可以直接通过文字生成音效，利用 Sora Opera 还可以为视频配乐，创造一种史诗级大片感觉。

3 多个落地项目开启 Sora Opera 商用之路

图拉古谈到：“我们非常高兴能与华为云合作，共同推动 AI 技术在声音合成领域的应用。Sora Opera 的推出，将为内容创作者、游戏开发者、影视制作等行业带来巨大的便利，同时也为 AI 技术的商业化应用开辟了新的道路。”

Sora Opera 还有超感影游的专业版本，为沉浸式 AI 互动影游提供专业级生产保障。目前通过 Sora Opera 生产的超感影游已有《命运之海》《幽灵堡垒》《太阳神诅咒》《凡尘》《主角学院》等。

（由 Sora Opera 参与制作的超感影游项目）

随着 Sora Opera 的面世，天图万境和华为云将携手开启 AI 声音合成的新篇章，为全球用户带来更加智能、高效的声音体验。正如图古拉所谈到的，我们非常高兴能与华为云合作，共同推动 AI 技术在声音合成领域的应用。未来，双方还将继续深化合作，探索更多 AI 技术的应用场景，为人们的生活带来更多便利和惊喜。

点击关注，第一时间了解华为云新鲜技术~