Python 从 0 到 1 丨带你认识图像平滑的三种线性滤波
本文分享自华为云社区《[Python从零到壹] 五十五.图像增强及运算篇之图像平滑（均值滤波、方框滤波、高斯滤波）》，作者：eastmount。
常用于消除噪声的图像平滑方法包括三种线性滤波（均值滤波、方框滤波、高斯滤波）和两种非线性滤波（中值滤波、双边滤波），本文将详细讲解三种线性滤波方法。
一.图像平滑
图像平滑是一项简单且使用频率很高的图像处理方法，可以用来压制、弱化或消除图像中的细节、突变、边缘和噪声，最常见的是用来减少图像上的噪声[1]。何为图像噪声？噪声是妨碍人的感觉器官所接受信源信息理解的因素，是不可预测只能用概率统计方法认识的随机误差。从图 1 中，可以观察到噪声的特点：位置随机、大小不规则，将这种噪声称为随机噪声，这是一种常见的噪声类型。
图 2 是一个图像平滑的示例，图中左半部分是包含噪声的原始输入图像，右半部分是进行图像平滑后的图像。通过对比容易观察到，在平滑后的图像中，物体中的噪声得到了有效地抑制和消除，但花的边缘部分被进行了模糊，这种将图像中的冗余信息进行抑制，即花的噪声进行消除的过程被称为图像平滑[2]。
一幅图像不可避免地要受到各种噪声源的干扰，所以噪声滤除往往是图像处理中的第一步，滤波效果好坏将直接影响后续处理结果，噪声滤除在图像处理中占有相当重要的地位。噪声滤除算法多种多样，可以从设计方法上分为线性滤波算法和非线性滤波算法两大类。
（1）线性滤波
在图像处理中，对邻域中的像素的计算为线性运算时，如利用窗口函数进行平滑加权求和的运算，或者某种卷积运算，都可以称为线性滤波。在数字信号处理和数字图像处理的早期研究中，线性滤波器是噪声抑制处理的主要手段，如均值滤波、方框滤波、高斯滤波等。
线性滤波算法对高斯型噪声有较好的滤波效果，而当信号频谱与噪声频谱混叠时或者当信号中含有非叠加性噪声时（例如由系统非线性引起的噪声或存在非高斯噪声等），线性滤波器的处理结果就很难令人满意。
（2）非线性滤波
非线性滤波利用原始图像跟模版之间的一种逻辑关系得到结果，如中值滤波、双边滤波等。非线性滤波技术从某种程度上弥补了线性滤波方法的不足，由于它能够在滤除噪声的同时较好地保持图像信号的高频细节，从而得到广泛的应用。著名学者 Tukey [3]于 1971 年首次提出了一种非线性滤波器——中值滤波器，从此揭开了非线性滤波方法研究的序幕。非线性滤波技术发展到现在，基于中值滤波的改进算法层出不穷，在非线性滤波算法中占有重要的地位。另外很多新的非线性滤波算法也相继涌现，如基于数学形态学的滤波方法、基于模糊理论的滤波方法、基于神经网络的滤波方法等，它们为图像滤波技术提供新的思路[4-5]。
后文将详细介绍以下常用的一些滤波器，包括均值滤波、方框滤波、高斯吕波、中值滤波等，如表 23-1 所示。
图 3 为这五种滤波的效果对比，从滤波的结果可以看出各种滤波算法对图像的作用非常不同，有些变化非常大，有些甚至跟原图一样。在实际应用时，应根据噪声的特点、期望的图像和边缘特征等来选择合适的滤波器，这样才能发挥图像滤波的最大优点。
在图像产生、传输和复制过程中，常常会因为多方面原因而被噪声干扰或出现数据丢失，降低了图像的质量。这就需要对图像进行一定的增强处理以减小这些缺陷带来的影响[6]。
二.均值滤波
均值滤波是最简单的一种线性滤波算法，它是指在原始图像上对目标像素给一个模板，该模板包括了其周围的临近像素（以目标像素为中心的周围 8 个像素，构成一个滤波模板，即去掉目标像素本身），再用模板中的全体像素的平均值来代替原来的像素值。换句话说，均值滤波输出图像的每一个像素值是其周围 M×M 个像素值的加权平均值。
图 4 表示均值滤波处理的过程，中心红色点的像素值为蓝色背景区域像素值求和的均值。5×5 的矩阵称之为模糊内核，针对原始图像内的像素点，均值滤波采用核对其像素逐个进行均值处理，并得到最终的效果图。
其中红色区域的像素值均值滤波处理过程为：
均值滤波算法比较简单，计算速度较快，对周期性的干扰噪声有很好的抑制作用，但是它不能很好地保护图像的细节，在图像去噪的同时，也破坏了图像的细节部分，从而使图像变得模糊。
Python 调用 OpenCV 中的 cv2.blur()函数实现均值滤波处理，其函数原型如下所示，输出的 dst 图像与输入图像 src 具有相同的大小和类型。
dst = blur(src, ksize[, dst[, anchor[, borderType]]])
src 表示输入图像，它可以有任意数量的通道，但深度应为 CV_8U、CV_16U、CV_16S、CV_32F 或 CV_64F
ksize 表示模糊内核大小，以（宽度，高度）的形式呈现
anchor 表示锚点，即被平滑的那个点，其默认值 Point（-1，-1）表示位于内核的中央，可省略
borderType 表示边框模式，用于推断图像外部像素的某种边界模式，默认值为 BORDER_DEFAULT，可省略
常见的模糊内核包括（3，3）和（5，5），如公式（2）和（3）所示：
图像均值滤波的 Python 实现代码如下所示，需要注意的是，代码中使用的是 3×3 的模板，plt.rcParams 是用于设置中文汉字正常显示。
“lena”图输出结果如图 5 所示，左边表示含有噪声的待处理原图，右边是均值滤波处理后的图像，图像中的椒盐噪声被去除了。
如果图像中的噪声仍然存在，可以增加模糊内核的大小，比如使用 5×5、10×10，甚至 20×20 的模板。图 6 就是使用 10×10 的内核，但是处理后的图像会逐渐变得更模糊。
图像均值滤波是通过模糊内核对图像进行平滑处理，由于模糊内核中的每个权重值都相同，故称为均值。该方法在一定程度上消除了原始图像中的噪声，降低了原始图像的对比度，但也存在一定缺陷，它在降低噪声的同时使图像变得模糊，尤其是边缘和细节处，而且模糊内核越大，模糊程度越严重。
三.方框滤波
图像平滑利用卷积模板逐一处理图像中每个像素，这一过程可以形象地比作对原始图像的像素进行过滤整理，把邻域像素逐一处理的算法过程称为滤波器。常见的线性滤波器包括均值滤波和方框滤波。
方框滤波又称为盒式滤波，它利用卷积运算对图像邻域的像素值进行平均处理，从而实现消除图像中的噪声。方框滤波和和均值滤波的模糊内核基本一样，区别为是否需要进行均一化处理。
Python 调用 OpenCV 中的 cv2.boxFilter()函数实现方框滤波处理，其函数原型如下所示：
dst = boxFilter(src, depth, ksize[, dst[, anchor[, normalize[, borderType]]]])
src 表示输入图像
dst 表示输出图像，其大小和类型与输入图像相同
depth 表示输出图像深度，通常设置为“-1”，表示与原图深度一致
ksize 表示模糊内核大小，以（宽度，高度）的形式呈现
normalize 表示是否对目标图像进行归一化处理，默认值为 true
anchor 表示锚点，即被平滑的那个点，其默认值 Point（-1，-1）表示位于内核的中央，可省略
borderType 表示边框模式，用于推断图像外部像素的某种边界模式，默认值为 BORDER_DEFAULT，可省略
常见的模糊内核 ksize 包括（3，3）和（5，5），如下所示：
参数 normalize 表示是否对目标图像进行归一化处理。
当 normalize 为 true 时，需要执行归一化处理，方框滤波就变成了均值滤波。其中，归一化就是把要处理的像素值都缩放到一个范围内，以便统一处理和直观量化。
当 normalize 为 false 时，表示非归一化的方框滤波，不进行均值化处理，实际上就是求周围各像素的和。但此时很容易发生溢出，多个像素值相加后的像素值大于 255，溢出后的像素值均设置为 255，即白色。
参数 normalize 的定义如公式（6）所示。
图像方框滤波的 Python 实现代码如下所示，代码中使用 3×3 的核，normalize=0 表示不进行图像归一化处理。
方框滤波非归一化处理的输出结果如图 7 所示，处理后的效果图中包含很多白色的像素点，这是因为图像像素求和结果发生溢出（超过 255）。由此可见，进行非归一化的处理时，得到的图像包含白色过多，对源图像的毁坏太大。
如果设置 2×2 的模糊内核，其非归一化的方框滤波处理效果更好一些，如图 23-8 所示。核心代码为：
cv2.boxFilter(source, -1, (2,2), normalize=0)
下面代码是使用 3×3 内核，进行归一化方框滤波处理的代码，其输出结果与 3×3 内核均值滤波完全相同。
输出结果如图 9 所示：
四.高斯滤波
为了克服局部平均法造成图像模糊的弊端，又提出了一些保持边缘细节的局部平滑算法，图像高斯滤波（高斯平滑）就是这样一种算法。它是应用邻域平均思想对图像进行平滑的一种线性平滑滤波，对于抑制服从正态分布的噪声非常有效，适用于消除高斯噪声，被广泛应用于图像处理的减噪过程。
图像高斯滤波为图像不同位置的像素值赋予了不同的权重，距离越近的点权重越大，距离越远的点权重越小。它与方框滤波和均值滤波不同，它对邻域内的像素进行平均时，为不同位置的像素赋予不同的权值。通俗地讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值（权重不同）经过加权平均后得到。
下面是常用的 3×3 和 5×5 内核的高斯滤波模板。
高斯滤波引入了数学中的高斯函数（正态分布函数），一个二维高斯函数如下公式（9）所示，其中σ为标准差。高斯加权平均中，最重要是σ的选取，标准差代表数据离散程度，如果σ较小，则高斯分布中心区域将更加聚集，平滑效果更差；反之，如果σ较大，高斯分布中心区域将更离散，平滑效果更明显[10]。
高斯滤波的核心思想是对高斯函数进行离散化，以离散点上的高斯函数值为权值，对图像中的每个像素点做一定范围邻域内的加权平均，从而有效地消除高斯噪声。高斯滤波让临近中心的像素点具有更高的重要度，对周围像素计算加权平均值，如图 10 所示，其中心位置权重最高为 0.4。
Python 中 OpenCV 主要调用 GaussianBlur()函数实现高斯平滑处理，函数原型如下所示：
dst = GaussianBlur(src, ksize, sigmaX[, dst[, sigmaY[, borderType]]])
src 表示待处理的输入图像
dst 表示输出图像，其大小和类型与输入图像相同
ksize 表示高斯滤波器模板大小，ksize.width 和 ksize.height 可以不同，但它们都必须是正数和奇数，它们也可以是零，即（0, 0）
sigmaX 表示高斯核函数在 X 方向的高斯内核标准差
sigmaY 表示高斯核函数在 Y 方向的高斯内核标准差。如果 sigmaY 为零，则设置为等于 sigmaX，如果两个 sigma 均为零，则分别从 ksize.width 和 ksize.height 计算得到
borderType 表示边框模式，用于推断图像外部像素的某种边界模式，默认值为 BORDER_DEFAULT，可省略
下面代码是使用 7×7 核模板进行高斯滤波处理。
输出结果如图 11 所示，左边为待处理图像，右边为高斯滤波处理后图像。
图 12 是使用 15×15 高斯核模板进行高斯滤波处理的效果图，由图可知，图像在去除噪声的同时也变得更加模糊。
总之，高斯滤波作为最有效的滤波器之一，它对于抑制服从正态分布的噪声非常有效。
五.总结
本文主要讲解了常用于消除噪声的图像平滑方法，常见方法包括三种线性滤波（均值滤波、方框滤波、高斯滤波）和两种非线性滤波（中值滤波、双边滤波）。这篇文章介绍了均值滤波、方框滤波和高斯滤波，通过原理和代码进行对比，分别讲述了各种滤波方法的优缺点，有效地消除了图像的噪声，并保留图像的边缘轮廓。
参考文献：
[1]冈萨雷斯著，阮秋琦译. 数字图像处理（第 3 版）[M]. 北京：电子工业出版社，2013.
[2]zhu_hongji. [OpenCV 学习笔记] 之图像平滑（线性/非线性滤波器）[EB/OL]. (2018-08-11). https://blog.csdn.net/zhu_hongji/article/details/81479571.
[3]陆瑶. 图像处理与 matlab 实例之图像平滑（一）[EB/OL]. (2017-07-23). https://www.cnblogs.com/luyaoblog/p/7160948.html.
[4]阮秋琦. 数字图像处理学（第 3 版）[M]. 北京：电子工业出版社，2008.
[5]石振刚. 基于模糊逻辑的图像处理算法研究[D]. 东北大学, 2009.
[6]马光豪. 基于稀疏高频梯度和联合双边滤波的图像平滑算法研究[D].山东大学, 2018.
[7]陈初侠. 图像滤波及边缘检测与增强技术研究[D].合肥工业大学, 2009.
[8]毛星云，冷雪飞. OpenCV3 编程入门[M]. 北京：电子工业出版社，2015.
[9]Eastmount. [Python 图像处理] 四.图像平滑之均值滤波、方框滤波、高斯滤波及中值滤波[EB/OL]. (2018-09-02). https://blog.csdn.net/Eastmount/article/details/82216380.
[10]Eastmount. [数字图像处理] 七.MFC 图像增强之图像普通平滑、高斯平滑、Laplacian、Sobel、Prewitt 锐化详解[EB/OL]. (2015-06-08). https://blog.csdn.net/eastmount/article/ details/46378783.
版权声明: 本文为 InfoQ 作者【华为云开发者联盟】的原创文章。
原文链接:【http://xie.infoq.cn/article/5db69dd1576ff14876e62a5f6】。文章转载请联系作者。
提供全面深入的云计算技术干货 2020-07-14 加入
生于云，长于云，让开发者成为决定性力量
评论