Computer Vision_33_SIFT：Fast Adaptive Bilateral Filtering——2018

此部分是计算机视觉部分，主要侧重在底层特征提取，视频分析，跟踪，目标检测和识别方面等方面。对于自己不太熟悉的领域比如摄像机标定和立体视觉，仅仅列出上google上引用次数比较多的文献。有一些刚刚出版的文章，个人非常喜欢，也列出来了。

33. SIFT
关于SIFT，实在不需要介绍太多，一万多次的引用已经说明问题了。SURF和PCA-SIFT也是属于这个系列。后面列出了几篇跟SIFT有关的问题。
[1999 ICCV] Object recognition from local scale-invariant features
[2000 IJCV] Evaluation of Interest Point Detectors
[2006 CVIU] Speeded-Up Robust Features (SURF)
[2004 CVPR] PCA-SIFT A More Distinctive Representation for Local Image Descriptors
[2004 IJCV] Distinctive Image Features from Scale-Invariant Keypoints

[2009 GRSL] Robust scale-invariant feature matching for remote sensing image registration
[2010 IJCV] Improving Bag-of-Features for Large Scale Image Search
[2011 PAMI] SIFTflow Dense Correspondence across Scenes and its Applications

[2012 ECCV] KAZE Features

[2012 ICCV] ORB_An efficient alternative to SIFT or SURF

[2014 CVPR] TILDE: A Temporally Invariant Learned DEtector

[2014 TGRS] A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information

[2015 GRSL] An efficient SIFT-based mode-seeking algorithm for sub-pixel registration of remotely sensed images

[2015 TGRS] SAR-SIFT: A SIFT-LIKE ALGORITHM FOR SAR IMAGES

[2016 ECCV] LIFT Learned Invariant Feature Transform

[2016 JVCIR] An Improved RANSAC based on the Scale Variation Homogeneity

[2017 GRSL] Remote Sensing Image Registration With Modified SIFT and Enhanced Feature Matching

[2017 CVPR] GMS :Grid-based Motion Statistics for Fast, Ultra-robust Feature Correspondence

[2018 TIP] Fast Adaptive Bilateral Filtering

翻译

快速自适应双边滤波

作者：Ruturaj G. Gavaskar and Kunal N. Chaudhury

 

摘要 -在经典的双边滤波器中，固定的高斯范围核与空间核一起用于保留边缘的平滑。我们考虑这种滤波器的一般化，即所谓的自适应双边滤波器，其中允许高斯范围核的中心和宽度在一个像素之间变化。尽管此变体最初是为锐化和去除噪声而提出的，但也可以用于其他应用程序，例如去除伪像和纹理过滤。与双边过滤器类似，自适应过滤器的强力实施需要大量的计算。虽然在文献中已经提出了几种用于双边滤波的快速算法，但大多数算法仅适用于固定范围内核。在本文中，我们提出了一种自适应双边滤波的快速算法，该算法的复杂度不会随空间滤波器的宽度而变化。这是基于以下观察结果：使用适当定义的局部直方图，可以仅在范围空间中执行相关过滤。我们表明，通过用多项式替换直方图，并用整数替换有限范围空间和，我们可以使用解析函数来近似过滤器。特别是，通过以下创新推导了一种有效的算法：通过将多项式的矩与目标直方图的矩进行匹配来拟合多项式（这是使用快速卷积完成的），并且使用逐部分积分递归计算解析函数。我们的算法可以将暴力实施速度提高至少20倍，而视觉质量不会出现明显的失真。我们展示了我们的算法在锐化，JPEG解块和纹理过滤方面的有效性。

索引词-双边滤波，自适应，近似，快速算法，直方图。

Ⅰ 引言

双边滤波器[1]，[2]，[3]被广泛用于计算机视觉和图像处理中以保持边缘平滑[4]。与线性卷积滤波器不同，双边滤波器使用范围内核和空间内核，其中两个内核通常都是高斯[3]。距离核的输入是感兴趣像素与其相邻像素之间的强度差。如果差异大（例如，像素来自边缘的不同侧），则分配给相邻像素的权重较小，并且实质上将其排除在聚合之外。该机制避免了强度差异较大的像素混合，从而确保了锐利边缘的保留。但是，这也使过滤器成为非线性且计算量很大。

在[5]中引入了双边滤波器的自适应变体，其中允许高斯范围核的中心和宽度在像素之间变化。它用于增强图像清晰度和去除噪音。由于标准双边过滤器无法进行锐化，因此必须对范围内核进行调整。通过调整内核的中心和宽度，可以控制特定像素处的锐化和噪声消除量。 [6]，[7]中还使用了可变宽度范围内核来删除压缩和配准伪像。

A.自适应双边过滤器

在本文中，我们将使用[5]中的过滤器定义，如下所示。令f：I→R为输入图像，其中I⊂Z2为图像域。输出图像g：I→R由下式给出

重要的是，（1）中的中心θ（i）和（3）中的宽度σ（i）是空间变化的函数。 （1）中的空间核ω：Ω→R为高斯：

该窗口通常设置为Ω= [−3ρ，3ρ] 2。根据[5]，我们将（1）称为自适应双边滤波器。


在经典的双边滤波器中，范围内核的宽度在每个像素处都相同[3]。另一方面，中心θ（i）仅是关注像素f（i）的强度。在[5]中将中心设置为θ（i）= f（i）+ζ（i），其中ζ（i）是偏移图像。除了[5]，[6]，[7]中的应用之外，自适应双边过滤器自然比其非自适应过滤器更具通用性。我们在第四节中使用新颖的纹理过滤应用程序对此进行了演示。纹理过滤的目的是从图像中去除粗糙的纹理（以及精细的细节），同时保留底层结构[8]。使用图1中的示例对此进行了说明。从示例中可以明显看出，通过调整每个像素的宽度（控制聚合），我们可以同时保留锐利的边缘和平滑的粗糙纹理。使用固定内核很难做到这一点（请参阅第IV节中的讨论）。

双边过滤器的一个众所周知的局限性是它需要大量计算[4]。不用说，这也适用于自适应双边过滤器。为了加快双边过滤器的速度，已经做了很多工作。但是，加速其自适应副本的任务很少受到关注（如果有的话）。在本文中，我们开发了一种适用于任何空间核的近似（1）的快速算法。当空间核是盒形或高斯型时，我们算法的每像素复杂度与窗口大小（恒定时间算法）无关。在实践中，我们的算法可以将暴力破解计算速度提高至少20倍，而不会明显影响过滤质量。

除了双边过滤器外，文献中还提出了其他保留边缘的过滤器。这些包括内容自适应双边过滤器[9]和引导图像过滤器[10]，[11]。前者[9]是双边滤波器的一种变体，其中空间和范围核的宽度都可以在一个像素之间变化。但是，据我们所知，尚无已知的快速（例如恒定时间）算法来实现此过滤器。顾名思义，在引导过滤器[10]，[11]中，使用所谓的“引导”图像中存在的边缘执行边缘保留。与我们的算法相似，这两个滤波器都具有恒定的每像素复杂度w.r.t。过滤器尺寸。这些过滤器已被证明对大量应用有用[9]，[10]，[11]。尤其是，原则上可以将这些过滤器用于第IV节中考虑的解块和纹理过滤应用程序，尽管不清楚如何将其用于图像锐化。

现在，我们回顾现有的用于经典双边过滤的快速算法，并解释为什么大多数不能用于自适应变量的算法。特别是，我们在[12]中讨论了促进当前工作的快速算法。

B.快速双边过滤器

从（1）和（2）可以得出，经典双边滤波器的蛮力计算要求每个像素进行O（ρ2）次运算，我们记得ρ是空间核宽度。当ρ大时（例如在需要更大聚合的应用程序中），这使实时实现具有挑战性。实际上，基于比例空间的考虑，人们会期望ρ与图像分辨率成比例。为了解决这个问题，文献中提出了几种快速算法，它们的运行时间与ρ无关。大多数这些所谓的O（1）算法实现的提速都依赖于以下事实：对于任何任意ρ[13]，[14]，都可以以固定成本计算出箱形和高斯卷积。如下所述，这些算法可大致分为四类。

第一类包括[15]和[16]中基于量化和内插的算法。在这里，将输入图像的强度范围量化为一小组级别，然后使用卷积对每个级别执行精确的双边滤波。通过内插精确的双边过滤，可以估算中等强度的双边过滤。卷积在为固定范围内核定义的图像上执行。因此，这些算法不能用于自适应双边过滤。

下一类中的算法使用范围核的所谓可移动近似来通过卷积[17]，[18]，[19]，[20]，[21]，[22]来近似双边滤波。特别地，在[17]中使用泰勒逼近，在[18]，[19]，[23]，[22]中使用三角（傅立叶）逼近，在[20]中使用高斯加权多项式逼近。 [21]中的可移动近似值是使用特征分解得出的。这些算法从根本上基于固定范围内核的分解。结果，它们不能用于加速（1）。


第三组算法使用高维卷积进行快速双边过滤[24]，[25]。他们基于这样的观察：通过将空间和范围维连接起来，双边滤波器可以表示为在这个较高维空间中的卷积。但是，如果范围内核在每个像素处都发生变化，则高维滤波不能表示为卷积。因此，对于我们感兴趣的情况，这些方法也失败了。

第四类包括基于直方图的算法。在此，双边滤波表示为作用于局部直方图的算子。在[26]，[27]，[28]中观察到，双边滤波器实际上与其他基于局部强度直方图的非线性滤波器有关。对于盒子（统一）空间核，在[17]中首次提出了基于积分直方图的O（1）算法。后来，在[29]中展示了如何使用组合盒形核将其扩展到高斯空间核。文献[30]中提出了一种针对任意空间核的类似方法。最近，Mozerov和van de Weijer [12]提出了一种基于在本地直方图上施加先验的新颖方法。我们将重点介绍这种方法，并说明如何将其扩展为自适应双边过滤。首先，我们回顾一下它的显着特征。

C.使用直方图近似加速

空间核与局部强度值的频率一起包括在[12]中的直方图规范中。结果，使用局部直方图的思想可以推广到任意的空间核中，而不仅仅是盒子核[17]。通过使用均匀分布逼近直方图，作者能够用标准误差函数表示滤波。这导致了一种快速的算法，该算法最终用于彩色图像的双边过滤。该方法的一个有趣的方面是，与其他基于直方图的方法不同，它不涉及任何形式的核近似。近似值完全是局部直方图。逼近过程只涉及与空间核的一次卷积，而不涉及范围核参数。参数仅出现在前面提到的标准误差函数中，该函数在每个像素处进行评估。因此，如果我们调整参数，则算法的形式结构不会受到影响。特别是，我们将展示如何通过修正[12]中的近似值来开发一种快速，准确的自适应双边过滤算法。

D.捐款

我们的主要贡献是发展了[12]中的核心思想，从而为自适应双边过滤制定了一种快速算法。我们在[12]中提出了一种改进直方图近似的计算框架，同时确保所得算法比蛮力计算快得多。此外，我们还演示了该算法在诸如图像锐化，JPEG解块和纹理过滤等应用中的实用性。

在技​​术方面，我们证明了直方图上的均匀先验（如[12]中所用）会导致较差的逼近度。确实，人们会期望边缘周围或纹理区域中的强度分布远非均匀。这促使我们使用多项式对局部直方图建模。由该选择引起的计算要求是在不明确计算的情况下近似局部直方图。我们建议通过将多项式的矩与直方图的矩进行匹配来实现。该建议的优点在于，可以使用卷积来计算直方图的矩。矩匹配问题简化为使线性系统Ax = b求逆，其中A和b都随像素变化。当然这在计算上是禁止的。但是，我们表明通过适当转换局部范围数据可以考虑单个A。实际上，这个特定的A证明是一个经过精心研究的矩阵，其逆具有封闭形式的表达式。类似于[12]，我们可以使用一系列定义积分来逼近（1）和（2）。实际上，积分是相互关联的，因此我们设计了使用逐部分积分的快速递归。与[12]的一个重要区别是，我们能够使用现有的快速算法有效地计算积分的极限。在[12]中以某种启发式的方式设置了限制。如我们稍后将显示的那样，正确设置极限值可以帮助提高近似精度。


相对于ρ，所提出算法的理论复杂度为O（1）。实际上，在实践中，蛮力实施的加速非常重要。对于第四节中的应用，我们可以获得至少20倍的加速度（最高可以达到60倍），同时确保可接受的近似精度（PSNR≥40 dB，[17]，[12]）。据我们所知，这是文献中报道的第一种用于自适应双边过滤的O（1）算法。

E.组织

其余文件的组织方式如下。第二节提出了自适应双边滤波器的拟议近似值和由此产生的快速算法。在第三节中，我们在时序和逼近精度方面将我们的方法与[12]和蛮力实现进行了比较。在第四节中，我们将算法应用于图像锐化，压缩伪影去除和纹理过滤。我们在第五节中讨论时结束了本文。

二。解析逼近

A.主要思想

在[12]中观察到，经典的双边滤波器可以表示为局部像素强度的加权平均值。对于自适应双边滤波器，我们采用相同的想法。更具体地说，对于i∈I，让

对于t∈Λi，定义（加权）直方图


其中δ是Kronecker增量，即δ（0）= 1，并且对于t 6 = 0δ（t）=0。请注意，我们可以用（5）来表示（1）和（2）：

考虑Λi的边界，
αi= min {t：t∈Λi}，βi= max {t：t∈Λi}。 （8）
注意，如果αi=βi，也就是说，如果i的邻域恰好包含一个强度值，则g（i）= f（i），因此不需要处理。对于其余的讨论，除非另有说明，否则我们将假定αi6 =βi。我们的建议是用在区间[αi，βi]上定义的函数pi逼近hi（具有有限域），并用积分替换（6）和（7）中的有限和。换句话说，我们考虑以下（6）和（7）的近似值：