如何实时、高效地处理如此海量的路况数据

本文分享自华为云社区《高并发图片视频处理，为出行保驾，为生活添彩！》，作者：昇腾 CANN。

四通八达的路网和车水马龙的盛景诠释着城市的繁荣和进步，但是水泄不通的路口和暴躁不安的司机也暴露了城市发展面临的诸多问题。

智慧交通将人、车、路互联互通，依靠大数据、物联网、人工智能等高新技术，汇集路况信息，提供实时、高效、安全的交通信息服务。分布在大街小巷的道路摄像机，化身为城市的“眼睛”， 7*24 小时不间断工作，为人们交通出行提供了重要的数据来源。

数据是智慧交通的基础和命脉，如何实时、高效地处理如此海量的路况数据却绝非易事！

一般来说，摄像机采集的数据会通过网络传输到数据计算中心，而受制于网络带宽，数据计算中心获取的都是从各地的摄像头编码后的 H264/H265/JPEG 码流数据，要想进行 AI 智能分析，需要把数据解码成 RGB/YUV 格式，然后经过抠图、缩放等一系列预处理操作过滤出人脸、车辆等核心信息，最后送入 AI 计算单元得出实时路况分析结果。

如此一来，每个路口的实时流量、人群密度，甚至人群的行走速度等便一目了然。

然而，虽说市面上的 AI 处理器一般都有较强的计算能力，但图像解码性能往往无法匹配，需要叠加解码器来完成图像解码，这无疑会带来大量的部署成本和适配工作量。另外，抠图、缩放等图像预处理操作固然可以借助 GPU+CPU 实现，但也必将造成图像处理和神经网络计算抢占资源，影响整体性能。

华为推出昇腾 AI 基础软硬件平台（昇腾 AI 处理器+异构计算架构 CANN），不仅能高效承接各类人工智能计算任务，还可两招解决以上图像处理面临的诸多问题。

第一招：昇腾 AI 处理器内置图像处理单元，节约硬件部署成本

以搭载了昇腾 AI 处理器的 Atlas 300I Pro 推理卡为例，其中的数字视觉预处理模块 DVPP（全称 Digital Video Pre-Processor）集成了 12 个视频解码核、16 个图片解码核、8 个图片编码核、3 个视频编码核、12 个可提供抠图缩放等能力的图像预处理核。与 AI 计算资源共栖的图像处理专用硬件，无疑是数据计算中心基础设施建设阶段的福音，可大大节约独立硬件的部署成本。

第二招：异构计算架构 CANN 多路并发，加速图像处理效率

如此丰富的图像处理硬件资源，给予了软件层更加广阔的施展空间。作为专门面向 AI 场景的异构计算架构，CANN（Compute Architecture for Neural Networks）以释放昇腾 AI 处理器极致算力为目标，通过软硬件协同优化，不仅能高效调度 AI 计算资源，还可加速 DVPP 硬件的图像处理效率，大大降低对 CPU 的使用。值得关注的是，即将在 2021 年年底发布的 CANN 5.0 版本中，通过全新的异步任务下发通道，将进一步降低任务下发时延，驱动多个硬件加速器多路并行处理，提升整体处理性能。

1、 多线程并行 video 解码： CANN5.0+Atlas 300I Pro 软硬件协同，支持 128 路 1080P 30fps H264/H265 视频流解码

2、 多线程并行 jpeg 编解码：CANN5.0+Atlas 300I Pro 软硬件协同，支持 1024fps @1080P 图片编码，2048fps @1080P 图片解码

3、 多线程并行图像预处理：CANN5.0+Atlas 300I Pro 软硬件协同，支持 4320fps@1080P 图像预处理，满足 CV 类算法的图片格式转换、抠图、缩放、填充、直方图统计相关处理，大大节省了计算资源。

除了性能上带来的突出表现， 异构计算架构 CANN 还提供了简单易用的图像处理接口和丰富的高性能算子库，支持对特定格式的视频和图像进行解码、缩放等预处理操作，同时具有对处理后的视频、图像进行编码再输出的能力，可支撑用户灵活多样的图像处理需求：

• 视频解码：支持 H264、H265 两种视频格式的码流解码

• 视频编码：支持 YUV 图片数据编码成 H264、H265 两种视频格式

• JPEG 解码：支持 JPG 图片解码

• JPEG 编码：支持 YUV 格式图片编码成.jpg 图片

• 图像预处理：支持各种格式的图像数据增强功能，包含抠图、缩放、叠加、黏贴、格式转换、直方图统计等

昇腾 CANN 超强的图像并发处理能力和丰富多样的图像处理接口，为城市智慧交通提供了有力的技术支持，让出行管理更高效，通行更通畅。打个比方，借助 CANN 128 路高并发视频解码能力，可以让一个部署摄像头总数约 40w 台的大型城市仅需 3000+服务器即可完成实时视频的智能分析处理需求，CANN 正在用硬核实力为人们的出行保驾护航。

除了智慧交通领域，媒体视频领域也正逐步借力 CANN 图像并发处理能力，为用户带来全新的视觉体验，给人们的生活增色添彩。

视频类业务发展至今，已不仅仅是单纯视频内容的播放呈现，以自由视角为代表的极具张力的视觉体验吸引了越来越多的受众。所谓自由视角，就是通过现场环绕部署的多台摄像机，让观众多角度、多细节、立体化地欣赏到精彩的表演效果或比赛瞬间。

借助 CANN 超强图像并发处理技术，将现场从不同角度采集的多路视频进行并发解码处理，经过 AI 智能合成后，编码成视频流，实时传送给观众，带来沉浸式的视觉体验。

再者，我们在看视频或直播的时候，往往会根据当前网络状况选择不同的清晰度。这对应在服务端其实就是视频转码的过程，将原始视频解码过后，根据用户选择的不同清晰度进行编码。

在整个过程中，视频编解码性能的好坏考验着用户的耐心，CANN 提供的超强图像并发处理技术，在视频解码的同时可轻松完成多路视频编码，大大降低转码时间，实时满足用户观看需求。

智能数字时代，图像处理+AI 计算的混搭场景会越来越常见，CANN 做为专门面向 AI 场景的异构计算架构，能轻松地协同好各类异构资源，通过多线程并行 video 解码、多线程并行 jpeg 编解码、多线程并行数据预处理技术，加速图像处理过程，带来可观的性能收益。

随着协议的演进，CANN 还会支持更先进的 H266 编解码协议，支持更多 CV 预处理算子；随着 AI 数据量的日益增大，CANN 也将解锁更多图像预处理技术，进一步加速图像处理过程。

在人工智能产业蓬勃发展的时代，CANN 乘风而来，通过先进的图像处理技术为各行各业解燃眉之急；同时，怀着对未来的憧憬，CANN 也必将破浪前行，通过更多技术创新拥抱崭新的业务场景，让人工智能真正走入千行百业！

点击关注，第一时间了解华为云新鲜技术~