GAN学习笔记（7）（ICLR 2016 DCGAN）

53 阅读 0 评论 35 点赞

我是靠谱客的博主开朗哈密瓜，最近开发中收集的这篇文章主要介绍GAN学习笔记（7）（ICLR 2016 DCGAN），觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

在这里插入图片描述

         论文名称：UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONALGENERATIVE ADVERSARIAL NETWORKS
                  基于深度卷积生成对抗网络的无监督表征学习

贡献

把 CNN 与 GAN 结合

1. DCGAN

DCGAN 的原理和 GAN 是一样的，这里就不在赘述。它只是把上述的 G 和 D 换成了两个卷积神经网络（CNN）。但不是直接换就可以了，DCGAN 对卷积神经网络的结构做了一些改变，以提高样本的质量和收敛的速度，这些改变有：

取消所有 pooling 层。G 网络中使用微步幅度卷积（fractionally strided convolution）代替 pooling 层，D 网络中使用步幅卷积（strided convolution）代替 pooling 层。
·在 D 和 G 中均使用 batch normalization
去掉 FC（全连接）层，使网络变为全卷积网络
G 网络中使用 ReLU 作为激活函数，最后一层使用 tanh
D 网络中使用 LeakyReLU 作为激活函数

DCGAN 中 G 的具体网络结构：

在这里插入图片描述

      注意： 没有使用完全连接或池层。

可以看出，生成器的输入是一个 100 维的噪声，中间会通过 4 层卷积层，每通过一个卷
积层通道数减半，长宽扩大一倍，最终产生一个 64×64×3 大小的图片输出。值得说明的是，在很多引用 DCGAN 的 paper 中，误以为这 4 个卷积层是 deconv（反卷积）层，但其实在DCGAN 的介绍中这 4 个卷积层是 fractionally strided convolution（微步幅度卷积），二者的差别如下图所示：
在这里插入图片描述
上图左边是反卷积，用 3×3 的卷积核把 2×2 的矩阵反卷积成 4×4 的矩阵；而右边是微步
幅度卷积，用 3×3 的卷积核把 3×3 的矩阵卷积成 5×5 的矩阵，二者的差别在于，反卷积是在整个输入矩阵周围添 0，而微步幅度卷积会把输入矩阵拆开，在每一个像素点的周围添 0。

参数设置 所有模型均采用小批量随机梯度下降（SGD）训练，最小批量为128。所有权重均从零中心正态分布初始化，标准偏差为0.02。在LeakyReLU中，所有模型的泄漏斜率都设置为0.2。虽然之前的GAN工作使用动量来加速训练，但我们使用了Adam优化器和调谐超参数。发现建议的学习率0.001太高了，改用0.0002。另外，β1为0.5

DCGAN 中 D 网络的结构

在这里插入图片描述
D 可以看成是 G 结构反过来的样子，那具体结构也没什么好说的了，简言之不断地做
卷积，最终得到一个 0,1 之间的结果。

    上述结构是 DCGAN 应用在 LSUN数据集上的架构，自己搭建 DCGAN 的时候应该视实际数据集大小做相应更改，譬如在MNIST 数据上网络结构的参数就应该要适当调小。

实验

在LSUN卧室数据集上训练DCGAN
在这里插入图片描述

矢量算法

在向量算法中有一个很经典的例子就是【vector(“King”) - vector(“Man”) + vector(“Woman”) = vector(“Queue”)】，作者将该思想引入到图像生成当中并得到了以下实验结果：【smiling woman - neutral woman + neutral man = smiling man】
在这里插入图片描述

   动漫头像生成复现 https://www.leiphone.com/news/201701/yZvIqK8VbxoYejLl.html?viewType=weixin


     笔记分享：https://blog.csdn.net/liuxiao214/article/details/74502975?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522159844737419725211952040%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=159844737419725211952040&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v3~pc_rank_v2-1-74502975.first_rank_ecpm_v3_pc_rank_v2&utm_term=DCGAN&spm=1018.2118.3001.4187