实时移动通信中基于时空域联合约束的低照度视频增强技术

视频通话是微信的基础功能之一，在实际应用中受光照条件及视频采集设备能力所限，视频发暗是影响主观体验的重要因素。我们尝试改进这个问题，欢迎留言交流

该项工作的主要成果发表在 ISCAS 2017 国际会议上。（"Low-LightingVideo Enhancement Using Constrained Spatial-Temporal Model for Real-Time MobileCommunication", ISCAS, pp：595-598, Baltimore, MD,USA, 2017）

http://iscas2017.org/

1.应用背景

目前绝大多数智能手机具有了视频拍摄功能，但由于受镜头尺寸和成本的限制，采集的视频图像的单像素上的光通量较小。尤其室内场景光照不足或者低照度的情况下，部分手机由于曝光不足导致视频明显偏暗，限制了其实时的移动视频通话的应用。低照度视频增强技术，是一种通过修改视频图像的像素值来有效的改善此类场景下的视频效果，提升客户的主观感受的视频图像处理技术。通过该技术来弥补低照度下手机拍摄的视频图像，可以扩大视频通话的应用场景，提升用户的产品体验。

2.相关技术

现有的低照度视频图像增强技术主要借鉴低照度图像增强的一些方法，具体举几个例子：例如，直方图均衡(Hist Equalization)：增强曲线为图像的概率累积分布函数，该方法能最大程度地拉伸整个图像的对比度。由于暗场景的图像其直方图存在高峰，经过直方图均衡处理后，导致图像过度增强，从而使得图像失真，同时容易放大噪声。例如，对比度拉伸(Contrast Stretching)：通过设计合适的映射曲线，控制全局各个灰阶增强幅度。但映射曲线不具备自适应性，对不同图像要设计专门的增强曲线，才可以达到增强图像的效果。Gamma 校正是对比度拉伸的一种。例如，同态滤波(Homomorphic Filtering)：是一种频域增强算法。像素值由光照分量和反射分量决定。其中光照分量位于低频段，反射分量位于高频段。将图像映射到频域后，将光照分量和反射分量在频域分开，再分别进行增强处理。该方法适合光照不均匀情况下的增强，如同时包含室内和室外场景。因此不适应于视频通话中的增强。其他的增强算法，如色调映射(Tone Mapping)和 Retinex 等方法，存在计算量过大或者容易在边缘处产生光晕等缺点，都不能直接用于实时视频增强的场合。

3.设计动机

在实时的移动视频通话的应用条件下，我们简要说明现有技术的缺点及要解决的问题：

（1）现有的视频增强方案主要是借鉴单幅图像的增强方法，因此只考虑单帧信息，没有考虑相邻帧之间的相关性。导致各帧间增强幅度不一致，从而出现闪烁或者颗粒现象，降低了主观效果。且对于亮度正常的图像，其增强算法往往过渡处理。

（2）在实时视频聊天的场景中，对计算量及存储空间非常敏感。实用算法都必须在较小的计算量和存储需求，达到最佳的增强效果。而类似色调映射和 Retinex 的计算量过大，即便经过优化也无法适应手机端的实时视频处理。

通过分析已有技术的技术特点和应用条件的限制因素，我们希望设计的算法具有以下几个特点：其一，增强低照度的视频图像。其二，连续的视频图像不产生闪烁。其三，对亮度正常的图像不做夸张的再增强。其四，算法的计算复杂度能够满足实时移动视频通话的限制。这样的设计思路，为后续的算法设计和实验验证提供了方向和标准。

4.技术详述

本文提出了一种实时移动通信中基于时空域联合约束的低照度视频增强技术。在该技术中我们设计了图像空域的亮度增强约束和对比度增强约束，以及视频帧时域的亮度一致性约束，并对提出的联合约束框架给出了凸优化的闭合解。下面详细对每一个约束的设计进行详尽介绍，最后给出问题的优化解。该方法在 YUV420 空间进行，将亮度分量 Y 和色度分量 UV 分开，只对 Y 分量进行处理，保持 UV 颜色信息。图像灰度的取值范围为[0-255]。

首先，低照度视频图像增强的最重要的处理就是亮度增强。一种最为直接的方式就是使用一族增强函数来定义亮度值增强，如图 1 所示：

图 1. 亮度值的增强函数族（横轴为低照度亮度值，纵轴为增强后的亮度值）。

在我们的设计中，通过采集同一场景下低照度和正常照度的视频数据对，通过离线训练的方式，得到了基于训练样本的亮度增强函数族 FI。

然而，由于单纯的提升整体像素的亮度值，会使得图像整体的对比度不均衡，仍然不能提供好的人眼主观视觉感受。我们提出了自适应的视频图像亮度值域调整的算法，进而通过新的值域范围来对图像进行直方图的均衡化调整。我们统计图像的像素点的值域范围时，排除掉最小的 d%个像素和最大的 d%个像素的干扰，将中间范围内的像素最大值和最小值进行调整，调整策略为自适应软阈值的方法。从而生成数据自适应的对比度增强函数 FC。

只从单一的图像维度来考虑增强的问题，往往会产生相邻图像帧之间的亮度跳变，即闪烁现象。为此我们将当前帧和相邻多帧的平均亮度的差异代价，构造出代价函数 G，来约束由亮度增强和对比度增强函数可能带来的闪烁现象。

综上我们设计的优化问题为：

易知三个约束项均为二次项，问题可以通过最小二乘法求解，如下：

本文算法的创新性和贡献：

（1）通过离线的方法训练亮度增强函数，用以合理的提升亮度。根据当前低照度视频图像自适应的生成对比度增强函数，用以重新调整图像对比度。根据已处理帧的信息，自适应的调整临近帧间的亮度一致性，抑制闪烁现象

（2）有效的将上述（1）的影响因素，统一成正则化的最优化框架下，来同时约束满足上文前三点项设计要求（增强低照度的视频图像，连续的视频图像不产生闪烁以及对亮度正常的图像不做夸张的再增强），并给出满足实时应用需求的求解方式。

（3）该算法具有较低的计算复杂度和极强的鲁棒性，实验证明其大量测试和线上的视频图像的增强效果中没有过度增强和失真增强的差质量样例。

5.实验结果

我们通过实验数据来验证我们的方法的性能。首先我们给出不同场景下不同暗图像增强算法的主观性能比较。

图 2. Bonsai 图片上的主观实验结果，a 表示原始暗视频图像，b-e 分别表示文献 13 的方法，f 表示我们提出的方法处理的视频图像。

图 3. Face 图片上的主观实验结果，a 表示原始暗视频图像，b-e 分别表示文献 13 的方法，f 表示我们提出的方法处理的视频图像。

图 2 和图 3 分别给出了低照度条件下景物和人物的增强效果。从图中可以看出我们的方法具有相对较好的主观效果。

图 4. Street 视频上连续两帧的主观实验结果，a 表示原始暗视频图像，b-e 分别表示文献 13 的方法，f 表示我们提出的方法处理的视频图像。

图 4 给出了连续的视频帧中抑制闪烁效果的主观结果。如图可以看出一些方法存在着视频图像亮度闪烁的现象，我们的方法在增强亮度的同时不存在闪烁的现象。

图 5. Kimono 视频图像的主观实验结果，a 表示原始暗视频图像，b-e 分别表示文献 13 的方法，f 表示我们提出的方法处理的视频图像。

图 5 给出了常规亮度的视频帧，我们的方法能够尽可能的不影响已经足够明亮的视频图像，避免了过度的增强。

进而我们通过一系列的客观的数据来从另一个侧面评估我们的算法。表 1 中，我们通过将算法统一到 Matlab 平台上进行公平的比较，分析各个算法的时间复杂度，可以看出我们的方法具有最好的实时性能，且在实际应用中该算法仅仅需要非常少的 CPU 计算代价，且具有良好的汇编优化效果，并不需要大规模的 GPU 等其他复杂计算资源。

表 2 中，我们通过利用无参考的质量评价 NR-CDIQA 方法，分析各个算法的客观质量，可以看出我们的方法具有最好的视觉性能。值得注意的是，在常规亮度的视频图像 Kimono 中，我们方法处理的得分最接近于原视频图像的打分，即我们没有夸张的过度增强。

参考文献

[1] K. He, J. Sun, and X. Tang, “Single Image HazeRemoval Using Dark Channel Prior,” in Proc. IEEE Conf. Computer Vision and PatternRecognition., pp. 1956-1963, 2009.

[2] Y. Li, Robby T. Tan, and Michael S. Brown, “Nighttime Haze Removal with Glow and Multiple LightColors,” in Proc. IEEE International Conference on Computer Vision, pp. 226-234, 2015.

[3] X. Dong, G. Wang, Y. Pang, W. Li, J. Wen, W. Mengand Lu, Y, “Fast efficientalgorithm for enhancement of low lighting video,” in Proc. IEEE International Conference on Multimedia andExpo, 2011.

[4] W. Shi, C. Chen, F. Jiang, D. Zhao and W. Shen, “Group-based sparse representation for lowlighting image enhancement,” in Proc.IEEE International Conference on Image Processing, pp. 4082-4086, 2016.

[5] Y. Fang, K. Ma, Z. Wang, W. Lin, Z. Fang, and G.Zhai, “No-Reference QualityAssessment of Contrast-Distorted Images Based on Natural Scene Statistics,” IEEE Signal Processing Letter, vol. 22, no. 7, pp. 838-842, 2015.

结语

本文针对低照度视频序列，为了增强视频图像的主观视觉质量，设计了正则化的最优化框架（其中包含：亮度增强代价函数，对比度增强代价函数和亮度一致性代价函数），并给出满足实时应用需求的求解方式。该算法具有较低的计算复杂度和极强的鲁棒性，实验证明其大量测试和线上的视频图像的增强效果中没有过度增强和失真增强的差质量样例。相关技术全部为微信多媒体内核组的组内自研，已获中国专利授权一项且中稿国际视频编码领域的重要会议文章一篇。

​ 本文转自微信后台团队,如有侵犯,请联系我们立即删除

OpenIMgithub 开源地址：

https://github.com/OpenIMSDK/Open-IM-Server

OpenIM 官网 ： https://www.rentsoft.cn

OpenIM 官方论坛: https://forum.rentsoft.cn/

更多技术文章：

开源 OpenIM：高性能、可伸缩、易扩展的即时通讯架构https://forum.rentsoft.cn/thread/3

【OpenIM 原创】简单轻松入门 一文讲解 WebRTC 实现 1 对 1 音视频通信原理https://forum.rentsoft.cn/thread/4

【OpenIM 原创】开源 OpenIM：轻量、高效、实时、可靠、低成本的消息模型https://forum.rentsoft.cn/thread/1