Paper Reading: SalGAN: visual saliency prediction with adversarial networks

Paper Reading Note

URL:
https://arxiv.org/pdf/1701.01081.pdf

TL;DR

本文是18年cviu的一篇文章，主要是用GAN作显著点检测的任务，模型很简单，可以参考其利用GAN增强的思想。

如上图所示，对一副图像的关键点检测，本文的检测方法效果明显优于传统的交叉熵方法。

Algorithm

模型框架如上图所示，主要由一个generator和discriminator组成。

1. generator部分采用了去除最后两层的vgg-16，一部分作为encoder(Conv-VGG)一部分作为decoder(Conv-Scratch)。
2. 将生成的feature map和ground truth做pixel-wise的BCE Loss：
   
3. 一般模型到这一步就结束了，本文提出了在此基础上添加一个discriminator对生成的模型和ground truth进行判别，相当于添加了discriminator传来的loss：
   
4. 对于discriminator的训练还是跟基本的GAN没有区别：
   

Results

这个模型跟许多SOTA方法比起来效果都可以，不过被近期的几个方法给压制了。

最后模型还给出了传统方法和GAN网络生成的图进行比较，可以看到GAN网络的图像更加平滑了。

Thoughts

对关键点检测不是很熟悉，但是从本文的模型看来十分简单。不过这也启发了几乎大部分的encoder-decoder模型都可以用GAN来辅助。

最后

以上就是迷路期待为你收集整理的Paper Reading: SalGAN: visual saliency prediction with adversarial networks的全部内容，希望文章能够帮你解决Paper Reading: SalGAN: visual saliency prediction with adversarial networks所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。