Contextual Encoder-Decoder Network for Visual Saliency Prediction【论文笔记】

详细浏览请看全文，= =快速浏览请看黑体

摘要：要想完成具有挑战性的视觉显著性检测，应该提取多尺度的高级视觉特征，并利用上下文信息进行增强。而现有方法旨在揭示显著性凝视图，而没有结合这一方法 。因此我们提出了基于卷积神经网络的方法，网络结构呈现为编码解码两部分，同时使用空洞卷积捕捉不同尺度的特征，并将结构与全局场景信息相结合，以准确预测视觉显著性。我们的模型在两个公开数据集上取得了有竞争力的结果，并在部分示例中展示了该方法的有效性。模型采用轻量级的backbone，因此是有限的计算能力下进行复杂场景的显著性检测的一种可选方案。

Related work

早期的显著性计算模型基于不同的理论框架，例如贝叶斯、图论。Itti 受到生物机制的启发，采用不同尺度的中央周边差，得到三组基础特征：颜色，强度，方向，在标准化之后输出到统一的显著图中。后续人们继续扩充特征，例如人脸、文本等。

随着眼动数据的量级不断增加，数据驱动的机器学习技术变得更加可行。Judd基于支持向量机根据一系列的低级中级高级特征来检测显著图。虽然这个方法依赖于能够表示显著性信息的图像属性，但这一工作标志着人工设计特征向自动学习特征的转变。Vig首先训练了一个端到端的浅层CNN网络，但由于网络太浅很难捕捉到物体信息。

后来人们克服了这一缺点——采用预训练ImageNet分类任务的网络作为backbone。DeepGazeI 和II都采用了这一方法，Cornia也使用这一方法（VGG，模型mlnet）。相关的方法也集中在合并不同尺度的特征【salicon】，以及在卷积特征图中捕获长距离空间依赖性的重复连接【samnet】。我们的模型在多个空间尺度上显式地结合语义表示，以在预测过程中包含上下文信息。

Methods

我们提出了一个新的CNN结构，采用改编自语义分割中的模块来预测显著性，输出结构于原图像分辨率一致。

 结构：Image-to-image的学习问题需要在真个处理流程中保护空间特征。因此我们的网络不包括全连接层并减少了分类模型的下采样的数目。我们使用VGG16结构作为一个图像编码器，并移除了最后两层池化层，最终产生空间尺度为原图1/8的特征图。所有后续的卷积编码层都采用dilated_rate=2空洞卷积，从而增加感受野以弥补高分辨率感受野太小的弊端。这种方式任然允许我们初始化模型为预训练模型，因为参数量不变。

不同级别的特征能够帮助保护空间细节，视觉显著图不需要精确的类别边框，但结合中到高级特征任然有帮助。因此我们利用多级特征，提取layer10、14、18的输出合并为1280的特征图。（mlnet）。

后续介入一个稀疏空间金字塔池化模块，使用不同的空洞卷积来捕获多尺度的图片信息。此外，我们还结合场景上下文，通过均值池化最终的编码输出【Torralba：上下文信息对注意力的定位很重要】。我们的ASPP模块与Deeplabv3一致。在这一工作中我们使用三种卷积层，卷积核为3x3，dilation rate分别为4， 8， 12，以及用一个1x1的卷积层来对特征图进行非线性组合【1x1不能增大感受野】。然后block5输出的特征经过全局平均池的上下文信息通过双线性上采样和逐点卷积操作得到与所有其他特征图相同的分辨率。模块中的五个分支【bolck5全局平均池化，1x1的卷积以及3x3dialtion rate为 4 8 12的空洞卷积】中的每一个都包含256个过滤器，这导致了1280个特征图。

为了保护分辨率，用卷积以及上采样对图像特征进行解码。以前的方法只是采用双线性上采样，但我们认为精心挑选的解码结构能够得到更好的结果。我们采用双线性上采样层，然后是一个3x3卷积层，这种方式是为了解决反卷积的棋盘效应。每一次channel数减少一半，分辨率增加一倍，最终得到32个特征图，然后用3x3的卷积核以及relu得到最终的结果。

结果：DPNSal and DenseSal累计排名最高，本文第三。

 溶解实验：有ASPP的提升效果很显著，当然对于不同指标，提升效果有区别。对于cat2000，不同类别的分类效果也有所不同。

讨论：

1 多尺度的空洞卷积是有效的

2 更多的突破：数据预处理如数据增强，中心权重【center bias】，

3 预训练模型VGG16不仅仅在ImageNet 而且还在Places2上也训练了.所以更强的预训练也很重要。

最后

以上就是老实舞蹈为你收集整理的Contextual Encoder-Decoder Network for Visual Saliency Prediction【论文笔记】的全部内容，希望文章能够帮你解决Contextual Encoder-Decoder Network for Visual Saliency Prediction【论文笔记】所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。