音视频学习 -- 视频特性测试

2021 年 12 月 14 日
本文字数：3262 字
阅读完需：约 11 分钟

最近公司为了做一些国际认证，需要对一些产品进行视频和摄像头做一些特性摸底，这项任务本来应该由测试小姐姐们完成的，奈何她们资源紧张，所以就自己进行尝试了。主要做了关于视频延迟、视频帧率、音视频同步、摄像头色彩还原度、摄像头分辨力解析；以及摄像头灰阶测试等内容。以下部分是参考一些网上资源继续测试的，有些工具还有待加强学习和使用，先做个记录，以备不时之需。

1. 视频延迟

视频延迟主要是测试通话接收方在收到视频传输过来的内容时相关延迟，这部分包括发送端采集延迟、编码延迟、封包延迟、网络传输延迟、接收端解包和组帧延迟、视频解码延迟、显示延迟等部分。在此只做总体测试，不针对单项拆分测试。

1.1 测试方案

https://zhuanlan.zhihu.com/p/58239633

电脑上打开一个在线秒表，开始计时后。两台待测设备固定在屏幕前，通话后，稳定一段时间后，拿起手机拍照，即是时延，这里拍照 10 次，计算差值后取平均值，即为时延。

测试结果：

1.2 优缺点

（1）该方案方便快捷，操作步骤简单，可以快速上手；

（2）但是拍照设备的清晰度需要注意，防止拍照后有部分数据模糊，而无法观测。

1.3 解决方案

观测者要用摄像头更好的设备进行拍照，而且要尽可能多的拍照，防止出现无法识别的数据，而影响统计结果

2. 视频帧率

帧率比较容易测试，正常通过抓包后，用 Elecard StreamEye Tools 工具即可完成相关数据的获取。需要注意：类似 2XX 获取的帧率和实际的帧率相比就是异常的，通过抓包分析后，是因为 2XX 设备的时间戳异常导致的，因此时长增倍，但是帧率减半了。

如下所示：相同的一路通话，2xx 时长显示 2:06，但是 4xx 显示仅仅 0:57，存在明显是长差别，通过抓包也可以得出类似的结论。因此帧率是异常的。

3. 音视频同步

音视频同步主要测试通话双方在接收端的音视频是否可以完成音画同步现象。因为音视频通话的声音和视频是分别通过 mic 和摄像头进行采集的，之后独立编码和传输，所以在接收端可能存在音画不同步现象；所以要进行相关测试，即使不满足同步显示，略有延迟在人眼和人耳可接受范围内也可以认为通过测试。

3.1 专业设备--方案 1

音视频同步测试设备，用于测试不同 AV 系统中音频和视频信号之间的时滞。该设备是工程师和测试专家喜爱的工具。该系统采用 LED 光源发出不同频率的闪烁模式，以及发出不同声音模式的声音参考，此外包括三种视频信号输入(包括 TOSINK)和两路音频输入(RCA).

3.1.1 基本原理

在实验室内同时播放可调节的声音和一个 LED 光源，该 LED 光源的频率和声音的周期保持一致。在另一端，通过 mic 和摄像头分别采样光源和声音信息，通过待测设备处理后传输到音视频同步分析设备中，完成音视频时延相关测试。可以参考下图。

3.1.2 优缺点

（1）设备太贵，短时间内不回购买

（2）测试精度应该会更准确，搭建比较简单

3.2 模拟测试–方案 2

由于音视频同步测试设备比较昂贵，暂时没有这方面的采购计划，因此查找很多资料，进行尝试，想方设法完成相关测试。如下博文中有一个比较不错的方案：

音视频同步测试方法音画同步测试视频 file_dir：

建议新建一个文件夹，生成图片较多

ffmpeg -i IMG_0041.MOV file_dir\f%05d.png -----------分解图片
ffmpeg -i IMG_0041.MOV -vn syn41.wav -----------提取音频

复制代码

一般要进行音视频同步测试要进行通话，或者 RTSP 监控测试。对于门口机，两者是分开测试，对于室内机或者话机，可能不支持 RTSP，所以只能测试通话内容。

3.2.1 方案 2

背景由于刚刚做完 SDMC 相关内容开发：其中有一个很好用的功能，话机收到来电时会进行自动录制的功能；因此采用待测设备呼叫话机的方式进行通话，之后话机会自动录制待测设备摄像头采集的数据并保存上传到 SDMC 特定路径下。

这样就可以把声音和图像同时录制下来，通过在待测设备端播放一段音视频同步专业视频，结合网上音视频同步测试方法方案，拆解数据，完成音视频数据的比较。

3.2.2 优缺点

优点：就是现有设备即可模拟当前通话音视频同步相关内容。

由于话机也是我们自己的设备，采样后的数据不完整，误差比较大：

缺点 1：音频容易受到话机端 mic 采集数据的影响，AV sync 视频中声音的频率采集容易受影响；

缺点 2：由于话机性能问题，录制的视频并非所有数据，可能有部分数据遗漏；22-》46-》76 帧。中间有部分视频帧遗漏导致截图视频和音频对应不上。

缺点 3：由于音频数据和视频数据都有误差，导致音视频数据延迟也有一定误差。

相同的测试环境，导致 2XX 和 4XX 的同步状态相差很大。

3.3 模拟测试–方案 3

周末在家和娃一起玩耍隔音房间打电话时，想要用静音室+LinPhone 的方式进行通话和录制，减少话机的录制丢帧现象，同时减少外界声音的干扰，可以很好的获得期望中的声音频谱和视频截图。

3.3.1 环境搭建

（1）PC 端搭建 LinPhone 环境，不清楚的童鞋可以参考 voip 模拟软件进行搭建；

（2）将待测设备放置静音室内，同时用小米 Pad 播放待测音画同步测试视频文件，

（3）然后用待测设备拨打 PC 端 LinPhone 号码，进行呼叫（LinPhone 可以设置自动接起）。

（4）PC 端设置当前通话进行录制。

（5）将录制好的视频进行音视频轨道的裁剪切割，得到比较好的音频频谱和视频截图，然后进行计算。

3.3.2 优缺点

优点：

（1）音频文件比较纯粹，可以很好观测音画同步测试视频文件中音频播放的频谱；

（2）视频文件也比较合理，可以观测到每个大概 30 帧左右一个循环，大概 1s 左右，和通话的帧率基本持平。

缺点：

（1）待测设备录制的是小米 Pad 播放的视频，也要受到播放端的影响；这部分延迟虽然很小，但是不能完全忽略；

（2）截取音频和视频数据后，需要人工主观计算和对比，需要进行优化，或者采用更好的方案快速识别，方便更加客观的查阅时间节点（这部分是后续优化的重点）

4. 摄像头色彩还原

摄像头测试更多依赖工具进行分析和判断，以及人眼主观判断，这部分主要是学习网上资料进行一个测试而已。

有几个因素影响到色彩的形成与还原。

4.1、光源的色温

了解了光源的色温值与白平衡设置挡的平滑色温，便可以从中获得色彩的形成和变化规律。当要求被摄物体色彩准确还原时，注意不要在混色光照明下拍摄，如白天室内，窗户投入光线很亮，就不能用白炽灯对阴面作辅助照明，因为窗户光色温高，白炽灯色温低，会形成混色光下拍摄的照片色彩难以平衡。用混色光照明时，按高色温光源设置白平衡，阴影部位更红；按低色温光源设置白平衡，高亮度部位色彩更蓝，无法校正照片的偏色。

4.2、曝光对色彩的影响

数码相机的曝光对色彩的形成影响也很大，其中主要的是对曝光量的影响。曝光不足，色彩灰暗、偏蓝绿色。曝光过度，色彩发白，高密度部位色彩不饱和。曝光正确时，色彩鲜艳、饱和，反差适中，层次丰富。

4.3、照明对色彩的影响

物体受光照明后才呈现出各种颜色。白光由光谱七色组成，物体的颜色（固有色）是吸收了部分色光，反射了另一部分色光而产生的。光源光谱成分比例的变化，对物体的色彩再现起着决定性的作用。一般来说，物体受光照后，高光部分的色彩基本上是光源色；阴影部分的颜色受环境色的影响很大；明暗交界处是其固有色与环境色的混合色。