【图像处理】【计算机视觉】线性邻域滤波专场：方框滤波、均值滤波与高斯滤波...

首先注意点：关于OpenCV中的函数，有老的数据结构，还有新的opencv2的数据结构，一般地区别就是IplImage*与Mat的区别，两者大致分别对应着C和C++内的两个功能一样，但是函数名称有别。所以，在使用中最好的办法就是尽量查看OpenCV的手册，因为它对应的C++，C和Python版本等都写了出来，非常好的工具不能忘了。

下面是使一些比较热门的图像滤波操作，对应的是基于C++的Mat数据类型（参考：http://blog.csdn.net/pi9nc/article/details/22977297）：

本篇文章中，我们一起仔细探讨了OpenCV图像处理技术中比较热门的图像滤波操作。图像滤波系列文章浅墨准备花两次更新的时间来讲，此为上篇，为大家剖析了“方框滤波“，”均值滤波“和”高斯滤波“三种常见线性邻域滤波操作。而作为非线性滤波的“中值滤波”和“双边滤波”，留待我们下次剖析。

先上一张精彩截图：

浅墨其实很希望把这篇文章写得精简和简明扼要，发现越深入写进去，需要讲的周边内容越多，于是文章越写越长，最后在word中字数统计突破了一万。。。。。。。

因为文章很长，如果详细啃的话，或许会消化不良。在这里给大家一个指引，如果是单单想要掌握这篇文章中讲解的OpenCV线性滤波相关的三个函数：boxFilter，blur和GaussianBlur的使用方法的话，直接看第三部分“浅出”和第四部分“实例”就行。

 

在以后写的OpenCV系列文章中，浅墨暂且准备将每篇博文中知识点都分成原理、深入、浅出和实例四大部分来讲解，

第一部分为和图像处理中线性滤波相关的理论，第二部分“深入”部分主要深入OpenCV内部，带领大家领略OpenCV的开源魅力，进行OpenCV相关源码的剖析，做到对OpenCV理解深刻，做一个高端大气的OpenCV使用者。 第三部分“浅出”主要教会大家如何快速上手当前文章中介绍的相关OpenCV API函数。而在第四部分，浅墨会为大家准备一个和本篇文章相关的详细注释的综合实例程序。

这样的话呢，文章既不失深度，也不失快速入门的良方。希望浅墨按这样的新思路写出来的文章,无论是新手还是高手，看了都能有所收获。

给出本篇万字文章的结构脉络：

 

一、理论——相关图像处理概念介绍

二、深入——OpenCV源码讲解

三、浅出——API函数讲解

四、实例——详细注释的博文配套程序

 

OK，我们开始吧。

一、理论与概念讲解

<1>关于平滑处理

“平滑处理“（smoothing）也称“模糊处理”（bluring），是一项简单且使用频率很高的图像处理方法。平滑处理的用途有很多，最常见的是用来减少图像上的噪点或者失真。在涉及到降低图像分辨率时，平滑处理是非常好用的方法。

<2>图像滤波与滤波器

首先我们看一下图像滤波的概念。图像滤波，即在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。
消除图像中的噪声成分叫作图像的平滑化或滤波操作。信号或图像的能量大部分集中在幅度谱的低频和中频段是很常见的，而在较高频段，感兴趣的信息经常被噪声淹没。因此一个能降低高频成分幅度的滤波器就能够减弱噪声的影响。
图像滤波的目的有两个:一是抽出对象的特征作为图像识别的特征模式;另一个是为适应图像处理的要求，消除图像数字化时所混入的噪声。
而对滤波处理的要求也有两条:一是不能损坏图像的轮廓及边缘等重要信息;二是使图像清晰视觉效果好。

平滑滤波是低频增强的空间域滤波技术。它的目的有两类：一类是模糊；另一类是消除噪音。（各种“两"，：））
空间域的平滑滤波一般采用简单平均法进行，就是求邻近像元点的平均亮度值。邻域的大小与平滑的效果直接相关，邻域越大平滑的效果越好，但邻域过大，平滑会使边缘信息损失的越大，从而使输出的图像变得模糊，因此需合理选择邻域的大小。
关于滤波器，一种形象的比喻法是：我们可以把滤波器想象成一个包含加权系数的窗口，当使用这个滤波器平滑处理图像时，就把这个窗口放到图像之上，透过这个窗口来看我们得到的图像。
滤波器的种类有很多， 在新版本的OpenCV中，提供了如下五种常用的图像平滑处理操作方法，且他们分别被封装在单独的函数中，使用起来非常方便：

 

• 方框滤波——boxblur函数
• 均值滤波（邻域平均滤波）——blur函数
• 高斯滤波——GaussianBlur函数
• 中值滤波——medianBlur函数
• 双边滤波——bilateralFilter函数

 

今天我们要讲解的是作为线性滤波的方框滤波，均值滤波和高斯滤波。两种非线性滤波操作——中值滤波和双边滤波，我们留待下次讲解。

 

<3>对线性滤波器的简介

 

线性滤波器：线性滤波器经常用于剔除输入信号中不想要的频率或者从许多频率中选择一个想要的频率。

几种常见的线性滤波器：

• 允许低频率通过的低通滤波器。
• 允许高频率通过的高通滤波器。
• 允许一定范围频率通过的带通滤波器。
• 阻止一定范围频率通过并且允许其它频率通过的带阻滤波器。
• 允许所有频率通过、仅仅改变相位关系的全通滤波器。
• 阻止一个狭窄频率范围通过的特殊带阻滤波器，陷波滤波器（Band-stop filter）。

<4>关于滤波和模糊

关于滤波和模糊，大家往往在初次接触的时候会弄混淆，“一会儿说滤波，一会儿又说模糊，什么玩意儿啊”。

没关系，在这里，我们就来辨别一下，为大家扫清障碍。

我们上文已经提到过，滤波是将信号中特定波段频率滤除的操作，是抑制和防止干扰的一项重要措施。

为了方便说明，就拿我们经常用的高斯滤波来作例子吧。我们知道，滤波可分低通滤波和高通滤波两种。而高斯滤波是指用高斯函数作为滤波函数的滤波操作，至于是不是模糊，要看是高斯低通还是高斯高通，低通就是模糊，高通就是锐化。

其实说白了是很简单的，对吧：

高斯滤波是指用高斯函数作为滤波函数的滤波操作。

高斯模糊就是高斯低通滤波。

<5>邻域算子与线性邻域滤波

邻域算子（局部算子）是利用给定像素周围的像素值的决定此像素的最终输出值的一种算子。而线性邻域滤波是一种常用的邻域算子，像素的输出值取决于输入像素的加权和，具体过程如下图。

邻域算子除了用于局部色调调整以外，还可以用于图像滤波，实现图像的平滑和锐化，图像边缘增强或者图像噪声的去除。本篇文章，我们介绍的主角是线性邻域滤波算子，即用不同的权重去结合一个小邻域内的像素，来得到应有的处理效果。

图注：邻域滤波（卷积）：左边图像与中间图像的卷积产生右边图像。目标图像中蓝色标记的像素是利用原图像中红色标记的像素计算得到的。

 

线性滤波处理的输出像素值是输入像素值的加权和 :

 

其中的加权和为 ，我们称其为“核”，滤波器的加权系数，即滤波器的“滤波系数”。

 

上面的式子可以简单写作：

 

其中f表示输入像素值，h表示加权系数“核“，g表示输出像素值

在新版本的OpenCV中，提供了如下三种常用的线性滤波操作，他们分别被封装在单独的函数中，使用起来非常方便：

 

方框滤波——boxblur函数

均值滤波——blur函数

高斯滤波——GaussianBlur函数

 

下面我们来对他们进行一一介绍。

<6>方框滤波（box Filter）

方框滤波（box Filter）被封装在一个名为boxblur的函数中，即boxblur函数的作用是使用方框滤波器（box filter）来模糊一张图片，从src输入，从dst输出。

函数原型如下：

C++: void boxFilter(InputArray src,OutputArray dst, int ddepth, Size ksize, Point anchor=Point(-1,-1), boolnormalize=true, int borderType=BORDER_DEFAULT ) 

  

参数详解：

• 第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。该函数对通道是独立处理的，且可以处理任意通道数的图片，但需要注意，待处理的图片深度应该为CV_8U, CV_16U, CV_16S, CV_32F 以及 CV_64F之一。
• 第二个参数，OutputArray类型的dst，即目标图像，需要和源图片有一样的尺寸和类型。
• 第三个参数，int类型的ddepth，输出图像的深度，-1代表使用原图深度，即src.depth()。
• 第四个参数，Size类型（对Size类型稍后有讲解）的ksize，内核的大小。一般这样写Size( w,h )来表示内核的大小( 其中，w 为像素宽度， h为像素高度)。Size（3,3）就表示3x3的核大小，Size（5,5）就表示5x5的核大小
• 第五个参数，Point类型的anchor，表示锚点（即被平滑的那个点），注意他有默认值Point(-1,-1)。如果这个点坐标是负值的话，就表示取核的中心为锚点，所以默认值Point(-1,-1)表示这个锚点在核的中心。
• 第六个参数，bool类型的normalize，默认值为true，一个标识符，表示内核是否被其区域归一化（normalized）了。
• 第七个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。有默认值BORDER_DEFAULT，我们一般不去管它。

boxFilter（）函数方框滤波所用的核为：

 

 

其中：

 

 

其中f表示原图，h表示核，g表示目标图，当normalize=true的时候，方框滤波就变成了我们熟悉的均值滤波。也就是说，均值滤波是方框滤波归一化（normalized）后的特殊情况。其中，归一化就是把要处理的量都缩放到一个范围内,比如(0,1)，以便统一处理和直观量化。

而非归一化（Unnormalized）的方框滤波用于计算每个像素邻域内的积分特性，比如密集光流算法（dense optical flow algorithms）中用到的图像倒数的协方差矩阵（covariance matrices of image derivatives）

如果我们要在可变的窗口中计算像素总和，可以使用integral()函数。

<7>均值滤波

均值滤波，是最简单的一种滤波操作，输出图像的每一个像素是核窗口内输入图像对应像素的像素的平均值( 所有像素加权系数相等)，其实说白了它就是归一化后的方框滤波。

我们在下文进行源码剖析时会发现，blur函数内部中其实就是调用了一下boxFilter。

下面开始讲均值滤波的内容吧。

1）均值滤波的理论简析

均值滤波是典型的线性滤波算法，主要方法为邻域平均法，即用一片图像区域的各个像素的均值来代替原图像中的各个像素值。一般需要在图像上对目标像素给出一个模板（内核），该模板包括了其周围的临近像素（比如以目标像素为中心的周围8（3x3-1）个像素，构成一个滤波模板，即去掉目标像素本身）。再用模板中的全体像素的平均值来代替原来像素值。即对待处理的当前像素点（x，y），选择一个模板，该模板由其近邻的若干像素组成，求模板中所有像素的均值，再把该均值赋予当前像素点（x，y），作为处理后图像在该点上的灰度个g（x，y），即个g（x，y）=1/m ∑f（x，y） ，其中m为该模板中包含当前像素在内的像素总个数。

 

2）均值滤波的缺陷

均值滤波本身存在着固有的缺陷，即它不能很好地保护图像细节，在图像去噪的同时也破坏了图像的细节部分，从而使图像变得模糊，不能很好地去除噪声点。

 

3）在OpenCV中使用均值滤波——blur函数

blur函数的作用是，对输入的图像src进行均值滤波后用dst输出。

blur函数文档中，给出的其核是这样的：

这个内核一看就明了，就是在求均值，即blur函数封装的就是均值滤波。

 blur函数的原型：C++: void blur(InputArray src, OutputArraydst, Size ksize, Point anchor=Point(-1,-1), int borderType=BORDER_DEFAULT ) 

 C++: void blur(InputArray src, OutputArraydst, Size ksize, Point anchor=Point(-1,-1), int borderType=BORDER_DEFAULT )

• 第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。该函数对通道是独立处理的，且可以处理任意通道数的图片，但需要注意，待处理的图片深度应该为CV_8U, CV_16U, CV_16S, CV_32F 以及 CV_64F之一。
• 第二个参数，OutputArray类型的dst，即目标图像，需要和源图片有一样的尺寸和类型。比如可以用Mat::Clone，以源图片为模板，来初始化得到如假包换的目标图。
• 第三个参数，Size类型（对Size类型稍后有讲解）的ksize，内核的大小。一般这样写Size( w,h )来表示内核的大小( 其中，w 为像素宽度， h为像素高度)。Size（3,3）就表示3x3的核大小，Size（5,5）就表示5x5的核大小
• 第四个参数，Point类型的anchor，表示锚点（即被平滑的那个点），注意他有默认值Point(-1,-1)。如果这个点坐标是负值的话，就表示取核的中心为锚点，所以默认值Point(-1,-1)表示这个锚点在核的中心。
• 第五个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。有默认值BORDER_DEFAULT，我们一般不去管它。

<8>高斯滤波

1）高斯滤波的理论简析

 

高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

大家常常说高斯滤波最有用的滤波操作，虽然它用起来，效率往往不是最高的。

高斯模糊技术生成的图像，其视觉效果就像是经过一个半透明屏幕在观察图像，这与镜头焦外成像效果散景以及普通照明阴影中的效果都明显不同。高斯平滑也用于计算机视觉算法中的预先处理阶段，以增强图像在不同比例大小下的图像效果（参见尺度空间表示以及尺度空间实现）。从数学的角度来看，图像的高斯模糊过程就是图像与正态分布做卷积。由于正态分布又叫作高斯分布，所以这项技术就叫作高斯模糊。

图像与圆形方框模糊做卷积将会生成更加精确的焦外成像效果。由于高斯函数的傅立叶变换是另外一个高斯函数，所以高斯模糊对于图像来说就是一个低通滤波操作。

 高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。高斯平滑滤波器对于抑制服从正态分布的噪声非常有效。一维零均值高斯函数为：

   

其中，高斯分布参数Sigma决定了高斯函数的宽度。对于图像处理来说，常用二维零均值离散高斯函数作平滑滤波器。

二维高斯函数为：

 

 

2）在OpenCV中使用高斯滤波——GaussianBlur函数

 

GaussianBlur函数的作用是用高斯滤波器来模糊一张图片，对输入的图像src进行高斯滤波后用dst输出。它将源图像和指定的高斯核函数做卷积运算，并且支持就地过滤（In-placefiltering）。

C++: void GaussianBlur(InputArray src,OutputArray dst, Size ksize, double sigmaX, double sigmaY=0, intborderType=BORDER_DEFAULT )  

• 第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。它可以是单独的任意通道数的图片，但需要注意，图片深度应该为CV_8U,CV_16U, CV_16S, CV_32F 以及 CV_64F之一。
• 第二个参数，OutputArray类型的dst，即目标图像，需要和源图片有一样的尺寸和类型。比如可以用Mat::Clone，以源图片为模板，来初始化得到如假包换的目标图。
• 第三个参数，Size类型的ksize高斯内核的大小。其中ksize.width和ksize.height可以不同，但他们都必须为正数和奇数。或者，它们可以是零的，它们都是由sigma计算而来。
• 第四个参数，double类型的sigmaX，表示高斯核函数在X方向的的标准偏差。
• 第五个参数，double类型的sigmaY，表示高斯核函数在Y方向的的标准偏差。若sigmaY为零，就将它设为sigmaX，如果sigmaX和sigmaY都是0，那么就由ksize.width和ksize.height计算出来。
• 为了结果的正确性着想，最好是把第三个参数Size，第四个参数sigmaX和第五个参数sigmaY全部指定到。
• 第六个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。有默认值BORDER_DEFAULT，我们一般不去管它。

 嗯，第一部分的理论介绍大概就是这些了，我们接着进入第二部分，OpenCV的源码剖析。

二、深入——OpenCV源码剖析

上一篇文章中我们已经和当前最新版的OpenCV的源码亲密接触过。 在这一部分中，浅墨将带领大家领略OpenCV的开源魅力，对OpenCV中本篇文章里讲解到线性滤波函数——boxFilter，blur和GaussianBlur函数以及周边的涉及到的源码进行适当的剖析。

这样，我们就可以对 OpenCV有一个更加深刻的理解，成为一个高端大气的OpenCV使用者。

<1>OpenCV中boxFilter函数源码解析

我们可以在OpenCV的安装路径的sourcesmodulesimgprocsrc下的smooth.cpp源文件的第711行找到boxFilter函数的源代码。对应于浅墨将OpenCV 2.4.8安装在D:Program Filesopencv的路径下，那么，smooth.cpp文件就在D:ProgramFilesopencvsourcesmodulesimgprocsrc路径下。

 //-----------------------------------【boxFilter（）函数中文注释版源代码】----------------------------  
//     代码作用：进行box Filter滤波操作的函数  
//     说明：以下代码为来自于计算机开源视觉库OpenCV的官方源代码  
//     OpenCV源代码版本：2.4.8  
//     源码路径：…opencvsourcesmodulesimgprocsrcsmooth.cpp  
//     源文件中如下代码的起始行数：711行  
//     中文注释by浅墨  
//--------------------------------------------------------------------------------------------------------  
void cv::boxFilter( InputArray _src,OutputArray _dst, int ddepth,  
                Size ksize, Point anchor,  
                bool normalize, int borderType)  
{  
   Mat src = _src.getMat();//拷贝源图的形参Mat数据到临时变量，用于稍后的操作  
int sdepth =src.depth(), cn = src.channels();//定义int型临时变量，代表源图深度的sdepth，源图通道的引用cn  
   
//处理ddepth小于零的情况  
   if( ddepth < 0 )  
       ddepth = sdepth;  
   _dst.create( src.size(), CV_MAKETYPE(ddepth, cn) );//初始化目标图  
Mat dst =_dst.getMat();//拷贝目标图的形参Mat数据到临时变量，用于稍后的操作  
   
//处理 borderType不为 BORDER_CONSTANT 且normalize为真的情况  
   if( borderType != BORDER_CONSTANT && normalize )    {  
       if( src.rows == 1 )  
           ksize.height = 1;  
       if( src.cols == 1 )  
           ksize.width = 1;  
}  
   
//若之前有过HAVE_TEGRA_OPTIMIZATION优化选项的定义，则执行宏体中的tegra优化版函数并返回  
#ifdef HAVE_TEGRA_OPTIMIZATION  
   if ( tegra::box(src, dst, ksize, anchor, normalize, borderType) )  
       return;  
#endif  
   
       //调用FilterEngine滤波引擎，正式开始滤波操作  
   Ptr<FilterEngine> f = createBoxFilter( src.type(), dst.type(),  
                        ksize, anchor,normalize, borderType );  
   f->apply( src, dst );  
}