写点什么

【融云分析】融云实时音视频 SDK 对智能硬件的视频适配

用户头像
Geek_116789
关注
发布于: 2020 年 07 月 13 日
【融云分析】融云实时音视频 SDK 对智能硬件的视频适配



融云实时音视频 SDK 会对市面上的各类智能硬件设备,特别是各种类型、各种版本的手机进行适配,以确保 SDK 的稳定性。但不同于手机的适配,智能硬件的适配有很多不同之处:



1.很多智能硬件的运行内存、CPU 性能等硬件配置普遍比手机性能低;

2.部分厂商在智能硬件的摄像头安装方向、个数、类型和手机有较大差异。



所以在适配问题上,智能硬件需要单独进行验证讨论,下面就为大家进行详细解析。



视频采集适配



采集方式适配



融云实时音视频 SDK 摄像头采集数据提供 Texture 和 YUV(NV21) 两种方式,通过设置不同采集方式可以获取到 Texture ID 或 byte 原始视频流数据。Texture ID 用来表示图像照片或者一系列的数据,使用纹理可以使物体展现更多的细节,YUV 则是摄像头采集出的 NV21 格式数据。



YUV 是一种彩色编码格式,可以将其理解为原始视频流数据,主要用在视频、图形处理流水线中(pipeline)。相对于 RGB 颜色空间,设计 YUV 的目的就是为了编码、传输更方便,减少带宽占用和信息出错。



融云实时音视频 SDK 中默认采用 Texture 方式采集,当本端使用该方式采集时,编码器默认将使用 android.media.MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface(0x7F000789) 颜色空间进行编码,如果对端不支持该颜色空间的情况下,可能会导致解码花屏或者解码失败问题,开发者可以在加入房间之前调用 RongRTCConfig.Builder#enableVideoTexture 方法设置是否采用 texture 方式采集。



摄像头适配



在遇见智能硬件摄像头安装方向、个数、类型导致的视频采集问题时,可以通过融云实时音视频SDK中 RongRTCConfig.Builder 类的设置方法 setCameraDisplayOrientation 和 setCustomizedCameraParameter,修改摄像机采集的角度和直接设置给 android.hardware.Camera#setParameters(Parameters params) 配置信息。



融云实时音视频 SDK 会通过 android.hardware.Camera.getNumberOfCameras() 方法获取到可用的摄像头 ID,默认会打开前置摄像头,对于需要打开鱼眼镜头或者搭载多个摄像头硬件设备场景中,可以使用

RongRTCCapture.getInstance().startCameraCapture 打开、切换;

RongRTCCapture.getInstance().switchCamera 指定 ID 的摄像头。



当智能硬件带有 USB 摄像头或 USB 麦克风,并且安卓系统无法识别其外置设备时,调用上文方法将无法打开硬件设备(对端将无法观看本端视频),这种情况,推荐使用融云实时音视频 SDK 发布自定义视频流功能。



二、视频编解码适配



融云音视频 SDK 支持 H.264 编解码器,以高压缩、高质量和支持多种网络的流媒体传输著称,同时也是 MPEG-4 第十部分,是由ITU-T视频编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视频组(JVT,Joint Video Team)提出的高度压缩数字视频编解码器标准,这个标准通常被称之为H.264/AVC。



使用融云音视频 SDK 时,可以设置编码器颜色空间、编码等级、编码帧率、编码关键帧间隔时间、编码器码率控制模式等配置信息,以解决设备编解码导致的问题。



编码颜色空间



融云 RTCLib SDK 中摄像头采集数据采用的颜色格式为 NV21,它属于 YUV420 格式,如果智能硬件厂商定制了颜色空间,会导致融云 SDK 内部处理颜色空间逻辑和设备所支持颜色空间不符合,出现编码报错、对端解码失败、对端观看花屏等现象。遇见此问题,开发者可以使用 RongRTCConfig.Builder#setHardWareEncodeColor 方法修改编码颜色空间来解决。



编码等级



由于视频编码后显示的数据质量偏低,为了调整质量,就需要设置编码等级 level、profile。融云 SDK 默认使用 android.media.MediaCodecInfo.CodecProfileLevel.AVCProfileBaseline ,开发者也可以通过 RongRTCConfig.Builder#enableHardWareEncodeHighProfile 方法将其设置为 android.media.MediaCodecInfo.CodecProfileLevel.AVCProfileHigh,AVCProfileHigh 所对应的编码等级为 android.media.MediaCodecInfo.CodecProfileLevel.AVCLevel3,AVCProfileHigh 相对 AVCProfileBaseline 采用了更高级的压缩特性,这意味着对端在解码时也需要硬件更高的性能,采用 AVCProfileBaseline 是因为其兼容性更高。安卓源码中 7.0 版本之前默认使用 AVCProfileBaseline ,7.0 才修改了该逻辑。



安卓 6.0 源码(android/6.0.1_r16/xref/frameworks/av/media/libstagefright/ACodec.cpp)片段如下:





安卓 7.0 源码(android/7.0.0_r31/xref/frameworks/av/media/libstagefright/ACodec.cpp)代码片段如下:





编码码率控制模式



对于需要传输高质量视频流的场景,除了设置分辨率、帧率、码率提高视频质量外,还可以控制编码码率,融云 SDK 默认使用 CBR ,开发者可以使用音视频 SDK 的 RongRTCConfig.Builder#setHardWareEncodeBitrateMode 方法修改模式设置。该属性安卓 5.0 才开始支持参数设置,以下是对三种模式的介绍:





编码关键帧间隔时间



H.264 标准中有 Instantaneous Decoding Refresh(IDR,即时解码刷新,以下称 I 帧)。H.264 图像以序列为单位进行组织,一个序列是一段图像编码后的数据流,该序列以 I 帧开始,到下一个 I 帧结束。两个 I 帧之间为多个 P 帧(Predictive-frame)或 B 帧(Bi-directional predicted frames),设置的编码关键帧间隔时间就是 IDR 间隔时间。



I 帧:通常是每个 GOP(Group Of Picture)  (MPEG 所使用的一种视频压缩技术) 的第一个帧,I 帧图像采用帧内编码方式,即只利用了单帧图像内的空间相关性,而没有利用时间相关性。I 帧使用帧内压缩,不使用运动补偿,由于 I 帧不依赖其它帧,所以是随机存取的入点,同时是解码的基准帧。I 帧主要用于解码器的初始化,以及节目的切换和插入,I 帧图像的压缩倍数相对较低,I 帧图像是周期性出现在图像序列中的,出现频率可由编码器选择,I 帧压缩可去掉视频的空间冗余,而 B、P 则是为了去掉时间冗余。



P 帧:向前参考帧(第一帧之后的帧,只存在和前一帧的差异,可以提高压缩效率和图像质量),压缩时只参考前一个帧,属于帧间编码方式(即同时利用了空间和时间上的相关性),P 帧图像中可以包含帧内编码的部分,即 P 帧中的每一个宏块可以是前向预测,也可以是帧内编码;它参考前一个 B 帧或 I 帧来解码出一张完整的图像。



B 帧:双向参考帧,压缩参考前一帧和后一帧,属于帧间压缩技术。压缩比高,如果网络不好,对实时要求高的话会一直等待,实时互动直播一般不使用,值得注意的是,由于 B 帧图像采用了未来帧作为参考,因此 MPEG-2 编码码流中图像帧的传输顺序和显示顺序是不同的。



因为 H.264 采用了多帧预测,所以 I 帧之后的 P帧可能会参考 I 帧之前的帧,这使得在随机访问的时候不能以找到 I 帧作为参考条件,因为即使找到了 I 帧,I 帧之后的数据也有可能解不出数据,而IDR 帧就是一种特殊的 I 帧(这一帧之后的所有参考帧只会参考IDR,而不会参考其他前面的帧)。在解码器中,一旦收到 IDR 帧,就会立即清理参考帧缓冲区,并将 IDR 帧作为被参考帧。



融云 SDK 中关键帧间隔时间默认为 100 秒,开发者可以通过 RongRTCConfig.Builder#setHardWareEncodeKeyFrameInterval 方法修改间隔时间,如果该值设置过小,会加大网络流量和编解码压力;如果过大,在网络有波动情况下,图像质量会下降。以上就是融云在实时音视频 SDK 对智能硬件视频适配方面的一些经验,希望能对开发者朋友们理解智能硬件的适配有所帮助。



用户头像

Geek_116789

关注

还未添加个人签名 2020.05.24 加入

还未添加个人简介

评论

发布
暂无评论
【融云分析】融云实时音视频 SDK 对智能硬件的视频适配