微短剧出海大升级：窄带高清降本，极致播放体验，海外合规更安心
快速轻装，一站出海。
短剧出海作为近两年的蓝海赛道，发展潜力惊人，据机构报告数据显示，2023 国内短剧市场规模达 53 亿美元，而海外短剧市场规模高达 650 亿美元，全球市场发展潜力巨大。
想要在规模激增的全球内容市场中稳健出海，技术可以提效降本，甚至可以弯道超车。
阿里云视频云以 AIGC 驱动整个内容出海的技术演进，推出全链路能力的微短剧出海一站式解决方案。
融会贯通 AI 的前沿应用力，附之产品方案的商业助推力，从内容制作、媒体处理、内容安全到分发播放，我们将完整方案与细节能力娓娓道来，希望能给内容出海赛道的关心者一些有效启示，从而轻装出海。
内容出海：
越过挑战，便是新机
内容出海连续两年风潮正盛，特别是以短剧为代表的整个内容形态，但也面临几方面的挑战：
一是内容的本地化，今天的短剧出海，不论是以国内内容进行翻译、发行到各个地方，还是在海外自制的短剧要发行更多全球区域，都会涉及到整个内容的翻译。如何进行多语种的翻译，其翻译的准确性、成本、效率是怎么样，这是非常重要的一点，毕竟内容为王，内容是第一位。
二是针对安全合规，在内容方面如何做到内容的安全、版权的保护，以及相关的数据合规、隐私合规满足海外市场的需要。
三是基础的播放体验，一个好的播放体验一定是短剧平台能够成功的必要，但在海外面临整个网络环境非常复杂的情况下，如何做到全球覆盖的最佳播放体验也是关键。
四是平台方非常关心的降本提效，一是包括 APP 本身要从 0 到 1 开发，或者说要增加更多的功能，带来整个 APP 的开发运维成本；二是转码相关的媒体处理成本，以及整个播放带宽的成本；三是 AIGC 带来的内容制作提效。
闯入任何赛道必然迎面挑战，但 AI 可以助力打破，这也是阿里云视频云聚焦探索大模型与 AI 技术的关键所在。
“AIGC 为内容出海赛道带来了新机会。我们以 AIGC 为驱动，全面提升整个内容出海从生产、处理、安全、消费全链路的效率、品质、安全、体验，同时又降低成本。”阿里云资深技术专家洪炳峰在 9 月的云栖大会演讲说道。
具体如何做到？分部来看。
内容输出，
先把 “ 字幕翻译 ” 做到极致
针对中国出海内容，关键是内容生产，尤其是满足更多从业者的低门槛生产。翻译剧当然是出海入局比较低风险的选择。
出海热门短剧 APP 的出海剧类型选择，便是一方面的印证。（如下图）
不论是翻译剧的出海，还是原创剧的多国发行，为了满足内容本地化，第一环便是“字幕翻译”。
然而，字幕翻译不仅仅是把源目标和语言翻译成目标语言，实际是包括了从字幕的提取（这其中涉及到 OCR 相关技术），到字幕的擦除（需要实现完整的无痕擦除），再到字幕的翻译（包含支持像通义大模型以及更多其他模型的精准翻译能力），最后涉及到字幕的合成（可以使用到阿里云在智能云剪辑的相关能力）。这一套完整的流程，才能把出海内容的字幕翻译做到完整、极致。
所以阿里云今天所推出的字幕翻译能力，不仅仅是一个简单的翻译，它是一套完整的方案。
因为需要把字幕翻译做到极致，所以这里着重展现其关键之处。
首先讲讲“字幕擦除”：阿里云在这一环节利用了自适应群化相关技术，来细化分割各个镜头，进行字幕相关的区域检测。然后针对检测的结果，利用生成式修复网络技术，进行处理。
这样擦除可以实现几点优势：最主要的是“无痕”，这让整个内容画面生成的纹理非常真实自然，没有任何擦除过的痕迹；然后是操作上的“灵活”，这意味着可以支持高精度的多字幕框、多字段、分时间段的任意灵活擦除。在这基础上，能够实现“多语种”支持，适用全球化的跨地域文化内容输出。
做到字幕的极致擦除后，更关键的是字幕翻译的准确性。
阿里云的视频翻译能力支持了多种源语言以及目标语言的调用（如英语、日语、印尼语、西班牙语、葡萄牙语等），同时，基于相关大模型技术，可以把翻译准确率极大提高。并且针对全球化背景的出海，阿里云将支持像 ChatGPT、谷歌等更多开放性的模型，以这样的方式达到更整体性的翻译效果。
完成整个字幕翻译之后，阿里云还提供完整的智能云剪辑能力，可以在画面的字幕轨上，选择任何双语的任务框，进行精细翻译。翻译完成的结果，能成为整个云剪辑时间线的一部分，这样可以对其进行二次人工精准的小微调，非常灵活。
这样来看，从擦除到合成是一个非常完整的字幕翻译方案，在每个环节，阿里云都用技术将效果做到极致，事半功倍地推动内容的后续处理。
内容原汁本地化：
把声音翻译，做成角色翻译
做到上述极致的字幕翻译，是必要的基础，真正做好内容出海，“声音翻译”才是更深一层的技术内涵，毕竟内容是靠语言情绪来表达的。
阿里云视频云着力投入微短剧人物角色的声音翻译，并已经重磅推出。然而，所构建的声音翻译能力，并非从单纯意义的语言翻译，而是完全从角色的诠释翻译为原点出发。
具体来说，过往对声音的翻译，都是匹配额外的某个音色或者配音，但阿里云视频云推出的声音翻译，可以完全保留视频原有角色的自身音色，乃至角色的声音情绪也同样可以原汁原味地以新语种形态，饱满地呈现出来。
这相当于一部影视作品，其原生音色版与硬涩配音版之间的巨大差距，所以显然，这对内容出海作品的还原度和诠释力，有极大价值，无形中提升了微短剧的内容品质。
但如何做到保持译制剧中角色的原有音色呢？技术上有几点关键：
第一， 分离人声和背景声。
第二， 有效区分不同角色，根据不同角色进行人声处理工作，然后翻译至目标语种。
第三， 保留相关的音色，输出相关的 TTS，把 TTS 合成到原来视频当中。
依循这些关键点，声音翻译最主要的效果：第一是可以保留角色的音色，在做到角色的情感保留的同时，还能做到音画同步、音画保真、背景立体声保真等等，而且，剧中的声音还可以支持人工介入，进行重新编辑时间和文本。
于是，这一套声音翻译能力，可以将剧中所有角色原本的情感诠释，原汁保留。
从理论到实践，可以通过如下经典剧情片段的中译英声音翻译，感受剧情的原味音色和情绪。
综合字幕翻译、声音翻译的绝对优势能力，就是阿里云视频云已经推出的“多语言视频翻译能力”。
说到多语言的需求，当下的全球市场已经给到了数字印证。
据预估，未来出海短剧市场规模会形成百亿量级的市场：其中，美国为最大的短剧出海市场；其次东南亚、日韩、欧洲区域市场正在迅速成长；而拉美、中东也是未来的潜力市场。
与全球需求得热力值对应，阿里云视频云支持中文、英文、法语、德语、西班牙语、阿拉伯语、日语、韩语、印尼语等全球多语种的互译能力，满足其在短剧场景下的视频翻译能力，有效解决跨文化内容输出效率。
虽然英语市场依然是 AI 翻译投入的重点，但针对国际语言为非英语的全球其他区域，阿里云视频云在视频翻译视效上，同样在探索原味的本地化，可以通过如下阿拉伯语的翻译视频感受一二。
于是，不论对保守进入英语市场的出海者，还是差异化瞄准非英语市场的探索者，一个全球化资源背景的专业音视频伙伴（阿里云视频云）都是不二之选。
AI 助攻生态关键：
高效高质的内容投流
在生产制作的另一面，对短剧来讲，投流是非常重要的一环，乃至是短剧 App 破局的“法宝”。
事实上，今年以来，投流已经成为短剧 App 角逐的战场，有数据显示，大多数短剧 App 将约 80% 的收入用于投流，这一数字可能还会继续上升。
根据 Insightrackr 数据，DramaBox 在 2024 年 4 月的日投放素材数达到 700 左右，到 6 月日投放素材数的峰值已经超过 5000，7 月日投放峰值已超 20000。
头部出海平台除了在海外主流渠道投流获客（如 Meta、Google Ads 等），同时还会在 YouTube、TikTok、Facebook 等主流社交媒体上建立了官方账号，通过发布精选短剧内容来吸引、引导用户下载并使用应用，这同样需要不断生成视频素材来运营实现免费获客。
短剧平台应对如此庞大数量级的投放和宣传素材，仅靠人工剪辑很难实现，需要有效的 AI 工具登场。
阿里云视频云的“一键成片”，以 AIGC 构建高效的内容二创能力，帮助短剧平台客户进行大量的、高质量的可投放素材，如精彩片段、剧情集锦、主题解说、剧情宣传片等等，足以助力这一关键投流环节。
具体来看，AI 一键成片会做哪些事？
可以理解为一套以 AI 驱动的自动化、批量化内容生成方案。
针对短剧平台设定需求的视频素材方向，客户只需下达指令，一键成片就可根据指令词进行智能化的“创作意图识别”，从而根据意图进行视频素材的脚本构建与扩充。这一过程中，创作者是可以灵活进行脚本干预以便精准化打造素材。
随之，一键成片会根据明确的脚本思路，来寻找相关主素材，如短剧中的一些分镜头、高光片段、冲突与反转剧情等，最终将这些视频素材智能化地进行拼接与效果包装，输出成片。
并且，输出的成片带有时间线，如果需要额外加人工锚点，也可以用阿里云智能云剪辑的丰富能力进行按需精调、增加特效、调整字幕等等。
在这其中，满足智能化成片的需求同时，还能同时满足批量化制作的数量需求。一般情况下，一键成片通过一个主题任务可在 2 小时内打造 100 个高质量视频，如果通过多任务给予，可以高效满足日投放成千上万的海量营销视频生成，最终完成高质高效的二创视频内容。
整套操作下来，能够帮助短剧平台极大提高投放与推广素材的制作效率、内容效果。
转码技术红利，出海降本利器
当短剧行业不惜大量成本投入市场之时，很有必要讲一下技术对内容处理的红利。
深入来讲，内容处理最核心的是视频内容的转码，于是，在转码环节就有极大的技术降本发挥空间。
“阿里云视频云一直在追求，如何能够去保持转码完之后，视频依然保持非常高画质的，但同时又占带宽比较低。”
这两个看起来是一对矛盾，实际上，阿里云用自研技术“窄带高清”精巧解决了这两点。
如今，阿里云当下的窄带高清技术已经发展到了 2.0 时代，它利用整个生成网络的相关技术去修复更多的细节，提升整体清晰度。
这里具体讲两点技术，均与短剧场景高度相关。
一是，人脸 ROI。针对短剧，受众往往特别关注剧情中主人公的突出，所以人脸 ROI 的意思是说，在编码的时候会去着重呈现观众关注的人眼区域，这些区域会分配更多的码率。相反，在不关注的区域上会去降低码率，这样整体来讲，对画面实现的是“高精度+低成本”的效果。
二是，针对容易产生“块效应”的地方，会用码率的优化分配算法，从画面质量提升和成本优化上，对短剧场景也是特别有效的。
下面可以对比看到，从左边经普通转码处理的图像，到右边经窄带高清处理的图像，处理完后会有明显的视觉优化效果。
总结来看，“窄带高清”能够极大提升整个画质，更重要的是，在提升画质的同时又能够降低码率。
如果精进到量化效果，我们通过几个上线视频的测试发现：通过窄带高清 2.0 转码与普通转码量化对比，其视频的平均码率能够降低 20%+。
正是由于整体码率的降低，让整个传输、分发、播放时，能够直接减少整体的视频卡顿率，于是，视频播放的体验感也会大幅提升。
当然，最重要的，还是它能够帮我们降成本。
同样通过一个视频进行实际的数据成本测算，结果发现，当视频播放量超过 1 万的时候，视频的整体播放量越大，窄带高清的降本效果就越明显。
所以真实来讲，面对内容出海，针对短剧行业，窄带高清 2.0 能够极大提升视频画质整体效果的同时，大幅度降低码率，为平台降本。
不可小觑的播放体验，尽享极致顺滑
一个短剧出海 APP 内容平台的成功，离不开的必要条件是极致的播放体验。
阿里云的播放器 SDK 利用智能化手段，优化了整个播放的全链路，来打造极致的播放体验。这里包括几部分：
一是智能缓存。阿里云会提供像本地缓存、边播边缓存，这里利用相关算法去保证整个缓存更优，相对来讲在缓存上取得一个更好的平衡。
二是智能的预加载。像短剧这种沉浸式的体验形态，会基于整个网络情况、业务特征来控制预加载数量，包括根据滑动的距离应该预加载几个，多长时长都会根据算法进行控制。
三是高级 ABR。利用一些高级的 ABR 能力，基于网络速度、缓存大小、播放行为等数据，使用智能算法决定码率档位，在低卡顿率和高清晰度之间达到最佳的平衡，并且也实现了不同清晰度之间的无缝切换。
最后是主备节点。即在节点之间，如果用了阿里云的播放器，包括阿里云的 CDN，能够做到节点故障更加智能的逃逸和节点优选，这时候，针对海外访问播放质量方面也是非常关键的。
由此，阿里云播放器 SDK，通过智能缓存、智能预加载、高级 ABR、主备节点这四点智能化手段，优化了播放全链路，充分保证了极致的视频播放体验。
在此之外，还有一点全新升级，是针对视频切换体验。一般情况下，如果技术处理不好，在视频播放的切换是会有很多黑帧的出现，于是，针对视频播放视效的切换，阿里云进行了技术升级，实现界面无缝的滑动、性能的最优。
当追求更极致播放体验的同时，成本就会是关注项。
于是，为了体验与成本的更好平衡，阿里云还推出了新选择：H265 智能播放方案。
实际来看，H265 相比 264，整体码率会降低更多，且有更高的质量，当然它的设备兼容性相比 264 会稍逊。所以，很多时候业务在 265 和 264 之间不太敢去选择，但是，阿里云今天推出的方案，是在这当中做了一个最佳平衡。
阿里云有非常多的线上机型库，也针对大数据分析获得相关的机型配置信息，会针对视频、设备以及配置相关去做智能决策，来选择是用 265 的硬解、还是用软解，或是用 264，并且还能够进行无缝降级。
这样保障的是：能用 265 的情况全部用 265，不能用 265 的情况用 264 或进行相关的“兜底”操作，从而保证有更高的码率下降（下降 50%）以及更高的质量，且整个兼容性也更有保障。
这其中，无缝降级是一个很关键的点，设备数能够适配现在 1 万+的设备数，能够做到全球的同步和动态的更新。
这一切为内容出海的消费端，带来更加实际和直观的商业价值。
回归出海内容安全的关键
在阿里云的产品视角，AIGC 也赋能了整个内容安全合规。
关键一，谈谈关于内容版权的保护。
阿里云支持当下主流的商业 DRM、HLS 这种标准加密，包括阿里云私有加密这种方式。
阿里云的私有加密是云端一体的视频加密解决方案，如对比 HLS，其加密达到“流级别”，加密级更高。同时，在播放体验上来讲，这是本地直接解密，不需要二次访问网络，所以也不会影响起播速度。
另一个很重要的点，在 Web 端。
客观来讲，Web 端是很容易被盗的，阿里云私有加密也支持 Web 端，包括 PC Web 和移动 Web。其整个兼容性很强，并且易用性对接也是很简单，在整体成本上远低于 DRM 的成本。
同时，阿里云能支持主流的包括 NP4、HLS 封装的格式。所以，对于内容出海的版权保护，阿里云提供安全级别更高、不损伤播放体验、且成本更低的云端一体的视频加密解决方案。
关键二，是对出海安全的内容审核。
今天做内容出海，很大一部分的审核有自己的人工进行把握，但客观上还是会有“机审”相关方面的诉求。
依托整个阿里云的安全相关的能力，可以提供丰富强大的审核能力，包括对于鉴黄、涉政、暴恐、广告、不良场景、语音违规等，当下的短剧解决方案就能够直接调用。
这可以带来极大的优势：高性价比、高并发、个性化、高准召的审核能力。
关键三，是常谈话题，海外的合规。
整个数据的安全、跨境的数据合规，在出海航行中是非常重要的一点。在这方面，阿里云在全球有超过 130 个认证，数据安全和隐私合规安全世界一流、亚太领先。
这里重点是关于数据的合规。
对此，一方面，应对今天内容出海所依赖的服务，在阿里云海外多个中心都已部署，包括新加坡、美西、沙特、法兰克福等等。
与此同时，阿里云 SDK 也进行了海外合规的全新升级。这里包括能够支持多地域的环境；整个数据的存储、分析以及展示服务也都是在海外；另外，SDK 访问的域名及相关服务也都在海外部署，这样能够极大满足在海外跨境的数据安全的数据合规诉求。
安全与合规是出海业务发展的地基，也是阿里云全球化资源的优势所在。
轻装出海：微短剧出海一站式解决方案
基于高度成熟的技术与产品能力，阿里云已上线一套完整的短剧出海解决方案。
具体来说，整个解决方案的底层，依赖于当下阿里云完整的点播服务、国际化的智能媒体服务，以及阿里云的播放器 SDK。
在这之上，针对短剧内容出海的场景，承接 AIGC 的关键键能力，包括视频翻译、生产处理、内容安全、内容播放以及播放反馈的全体系能力。
在全链路的能力中，很多产品能力都做了适应商业需求的优化，并在持续升级（如前文提到的重头能力：视频翻译、窄带高清、一键成片、私有加密等）。
在面向应用的对接层，解决方案能够支持整个原子能力的接入，也能通过短剧 AUI 接入。
我们知道，短剧平台在开发过程中、升级情况下，会面临较高的研发成本。对此，阿里云有相应的短剧 AUIKit 方案，能够低代码简易接入，目前已经将其开源，方便灵活二次开发。如果新涉入短剧业务的客户，或者对已有短剧业务有升级需求，都可方便采用。
阿里云官网已经上线“短剧出海一站式解决方案”，在生产、处理、安全、播放一站式成熟能力之上，加持 AIGC 的强应用力，对内容出海服务不断升级，服务更多中国出海企业。
版权声明: 本文为 InfoQ 作者【阿里云视频云】的原创文章。
原文链接:【http://xie.infoq.cn/article/3a3e61cb3d608fcd8e9b18c3b】。文章转载请联系作者。
公众号：视频云技术 2020-10-20 加入
「视频云技术」你最值得关注的音视频技术公众号，每周推送来自阿里云一线的实践技术文章，在这里与音视频领域一流工程师交流切磋。
评论