活动回顾 | 基于英特尔技术的端到端音视频优化

导读：2022 年 8 月 18 日，“视界无垠，音聚而生”，2022 网易音视频技术大会成功举办，本次大会邀请了来自网易智企、网易云音乐、网易伏羲、网易新闻和英特尔的产品与技术专家进行专题分享。本文是来自英特尔的技术专家张立宇分享的《基于英特尔技术的端到端音视频优化》。

嘉宾介绍：张立宇，英特尔互联网行业解决方案专家，长期从事音视频等基础架构建设工作，包括视频编码，视频分析，性能优化等方向。

随着直播技术的优化和升级，视频互动、视频流畅已经成为了标配。在这一进程中，传统以文本、图片等为主的互联网信息流也逐渐被以音视频为代表的多媒体流所取代。以目前火热的短视频服务为例，至 2021 年末，互联网用户对短视频服务的粘性已成为各互联网服务之首，使用总时长达 25.7%。对于大多数的超清音视频直播或录播，如何进行优化，提供给用户更好的视听体验，是一个很大的课题。

30 多年的互联网发展给中国带来翻天覆地的变化，成为推动中国经济发展的重要动力。数字经济持续快速地增长，信息技术与实体经济加速融合，数字经济成为了中国经济增长的新引擎。

在这过程中音视频的应用越来越广泛，视觉化的信息代替了传统的文字、图片、符号等，更加直观地反映出信息的本质，促成了更直接的信息交流。根据具体数据显示，到 2022 年，中国的超高清的视频市场规模会突破 4 万亿。

总体来讲，在新技术的发展下，音视频技术需要不断地升级来支持新的应用场景、新的模式、新的应用的需求。所以目前对整个音视频领域来讲，不仅需要对上层软件系统进行优化，也需要在底层硬件技术设施上寻找新的解决方案，这样才能在音视频这个领域有一个真正意义上的颠覆性的创新技术升级。

大规模的人工智能的部署，也对未来图形处理产品提出了要求，要求实现高度的视觉保证，持续优化人工智能和连续计算，也为云时代的数据中心带来了强劲的需要，需要我们有新的架构、实现智能计算、对海量数据进行处理、易构算力的融合与加速、多负载运维的支撑等。英特尔目前已经建立了软件加速系统、GPU 路线图，横跨从客户端到数据中心的所有产品，帮助客户应对数据时代不同的需求。从英特尔的角度来讲，首先是通过硬件能力来构建音视频基础架构。英特尔一直在努力为开发人员提供硬件架构和软件的正确的组合，以便为他们提供特定的最佳解决方案。英特尔的 XPU 策略不是一个新的处理器或者产品，而是一个架构的组合，包括 CPU、GPU、FPGA、ASIC 等不同的加速和处理芯片，对应满足不同的应用负载和功耗需求。

英特尔对语音和视频处理的优化方案可以分为两层，底层基础架构对整个云平台视频云提供支撑，其次对上层视频云的具体工作负载进行优化。在硬件基础设施上，英特尔通过英特尔® 至强® 可扩展处理器、英特尔® FPGA 产品、英特尔® 傲腾™ 持久内存，以及英特尔® 以太网网络适配器、英特尔® 视觉云媒体分析加速卡等产品，为各类基于音视频能力的创新方案提供强劲的计算、存储和网络处理能力；另一方面，在软件优化加速上，来自英特尔的 Media SDK、 SVT、英特尔® oneAPI 等，在不同应用场景中以完整的软件栈来加速音视频能力的工作效能。 

除此之外，英特尔也有很多集成的数据函数库，提供了非常多的性能优化，比如说英特尔的 IPP，能够在一个函数的第二个过程中，快速地实现离散的余弦变换，在提升运算的同时，极大精简了代码量，通过使用 IPP 的函数库，优化算法，最小化内存的占用，加上英特尔 AVX512 指令集等方式，可以在离散余弦变换计算时实现 3 倍性能的提升。

总体来说，英特尔的硬件技术设施就像性能加速器，通过英特尔至强处理器、英特尔的 FPGA 产品、英特尔的傲腾内存等硬件产品组合，为各类基于音视频的创新方案提供非常强劲的技术能力、存储能力、网络能力。而软件更像是系统优化器，在不同的应用场景中以完整的软件栈来加速音视频能力的工作性能，软硬结合之下英特尔就可以为各类平台提供基于云或数据中心的音视频的处理能力，提供专业高效的编码、解码能力，帮助云服务提供商用户带来更加便捷、更加高清、价格更加实惠的视听体验，同时使云厂商更有效的推动系统优化，降低运营成本，最终实现 1+1 大于 2 的协同效应。

对英特尔来说，未来的数据中心，将会实现计算和存储的物理分离，完成安全特性在芯片内部架构的整合，实现更灵活的硬件，软件应用好服务，软件将会以微服务的形式呈现，通过以无处不在的连接，从云到边缘的基础设施以及人工智能，帮助人类持续增长，不断创新，全面赋能万物智能化的变革。