生成对抗网络(GAN)

生成对抗网络(GAN)

paper原文:Generative Adversarial Networks

• 生成对抗网络GAN
• 概览
  • 做了什么
  • 优势
  • 不足
• 模型组成
  • 生成模型 G
  • 鉴别模型 D
• 核心公式
• 算法
• 图示化描述
• 全局最优点 Pg Pdata
• 效果与对比
• 展望

概览

做了什么

• 提出了新的模型对抗模型
  
  • 通过生成模型(G)与鉴别模型(D)之间的相互竞争。即D模型要将 G 生成假数据调出，而 G 模型要设法“骗过”D 模型的鉴别，最终提高 G 模型的生成质量
  • 通过实验当 D 最终结果稳定在$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- \frac{1}{2} //--><!]]]]><![CDATA[> //--><!]]>$时 G 模型生成效果最好。

优势

• 不需要使用Markov 决策框架
• 框架移植性强，可以用于各种训练、优化算法，以及现有的模型中。
• 两个模型都仅仅使用了后向传播与dropout算法
• G 模型生成样本只需要使用前向传播

不足

• 在当时未能明确找到代表$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- p_g(x) //--><!]]]]><![CDATA[> //--><!]]>$产物
• D 与 G 的训练必须同步，换句话说 G 不能脱离 D 的训练而更新多次。（防止出现Helvetica scenario问题）

模型组成

生成模型 G

• 通过噪声（一维序列）生成样本，尽力混淆 D 模型的鉴定。
• 随机噪声通过多层感知机生成
• 通过多层感知机输入$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- p_z(z) //--><!]]]]><![CDATA[> //--><!]]>$映射到数据空间$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- G(z;\theta_g) //--><!]]]]><![CDATA[> //--><!]]>$
• 训练 G 来最小化概率$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- log(1 - D(G(z))) //--><!]]]]><![CDATA[> //--><!]]>$.使得从噪声生成的数据足够真实。

鉴别模型 D

• D 主要是学习数据来源到底是来自真实数据，还是生成数据。
• 本质为二分类器
• 数值$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- D(x) //--><!]]]]><![CDATA[> //--><!]]>$代表 x 是由真实数据获得并非由 G 生成的概率
• 同样使用多层感知机结构
• 训练 D 来最大化概率$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- D(x) //--><!]]]]><![CDATA[> //--><!]]>$，使得 D 精于鉴别噪声数据

核心公式

$$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- \min_G\max_DV(D,G) = E_{x~p_{data}(x)}[logD(x)]+E_{x~p_x(x)}[log(1-D(G(z)))] //--><!]]]]><![CDATA[> //--><!]]>$$
分析：

• 要让整体最小，即让两个期望都小
• 当输入图片与模型 D 一定时，前面的期望数值是一定的。
• 这时让整体下降就要依赖后面的期望
• 注意期望一定层面上反馈了这组数据的平均性能
• 所以当后面值低意味着，生成的图片必须足以以假乱真
• 这恰恰就符合了 GAN 的目标
• 最佳情况：一个看起来超假的图片，经过生成器，“以假乱真”
• 只要G 的变化足够慢，D 就会被保持在一个较优的水平上
• 这个思路模仿了SML/PCD算法的思路

算法

上方为 GAN 网络的核心算法，几点注意事项

• k为一个超参数，定义让 D 在每次训练步骤中，优先 G 增长的次数。k 越大 D 的鉴别能力越强，最后 生成 G 就越像。但是需要耗费的资源开销也会增大
• m为 mini-batch超参数，定义对多少输入以及生成样本做梯度下降。这是一种借鉴全局梯度下降与随机梯度下降两者优点的做法。当 m = 样本数量退化为全局梯度下降。m =1 退化为随机梯度下降
• D 的训练核心是最大化鉴别梯度
• G 的训练核心是最小化鉴别梯度，即提高混淆能力

图示化描述

图示中:

• 蓝点线代表 D 模型的$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- D(x) //--><!]]]]><![CDATA[> //--><!]]>$在 x 域的分布
• 黑点线代表正常样本在 x 区域的分布
• 绿点线代表 G 模型生成样本在 x 域的分布
• 下面的 z->x 表达了生成模型 G 通过噪音 z 向混淆数据 x 生成的映射情况

从过程上：

• a的过程是算法刚开始，D 模型还不能很好的分辨出x 分布中的数据来源。
• a->b是算法中的最里层的k步训练。训练模型 D，使其鉴伪能力加强
• 到b过程蓝点线已经平滑，证明 D 已经具有较稳定的分辨性能。
• b->c的过程是后面训练 G 模型的过程。此时 D 性能一定，训练 G 向能最小化 $<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- D(G(x)) //--><!]]]]><![CDATA[> //--><!]]>$方向发展。
• 到c过程下 G 的生成分布逐渐像元数据靠拢。G 的噪声的生成映射关系也向中间集中
• c->d的过程是上面算法逐渐训练的过程
• 最后到d，G 已经有足够的混淆能力，D 认为数据一半是原始数据，一半为真实数据。此时 G 模型已优化到最大性能。

全局最优点 Pg = Pdata

也可认为上面核心公式结果为0.5

首先我们假定：

$$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- D^*_G(x) = \frac{p_{data}(x)}{p_{data}(x)+ p_g(x)} //--><!]]]]><![CDATA[> //--><!]]>$$
这里$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- p_{data}(x) //--><!]]]]><![CDATA[> //--><!]]>$是来自真实数据样本数，$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- p_g(x) //--><!]]]]><![CDATA[> //--><!]]>$是来自生成数据的样本数.

这里我们可以对核心函数$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- V(G,D) //--><!]]]]><![CDATA[> //--><!]]>$进行改写：

这里首先把$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- V(G,D) //--><!]]]]><![CDATA[> //--><!]]>$式根据各自的数据集求积分得到全局情况。同时由于对那个变量积分对积分结果无影响。所以把 z更名为x然后做抽象:

$$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- y = alog(y)+blog(1-y)\tag4 //--><!]]]]><![CDATA[> //--><!]]>$$
当$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- (a,b) //--><!]]]]><![CDATA[> //--><!]]>$都属于二维实数平面时4式在$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- [0,1] //--><!]]]]><![CDATA[> //--><!]]>$内的最大值点为$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- \frac{a}{a+b} //--><!]]]]><![CDATA[> //--><!]]>$
同时我们也可以从期望的角度重写 V 式：

此时当$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- p_g = p_{data} //--><!]]]]><![CDATA[> //--><!]]>$时，$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- D_G^*(x) = \frac{1}{2} //--><!]]]]><![CDATA[> //--><!]]>$,$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- C(G) = log\frac{1}{2}+log\frac{1}{2} = -log4 //--><!]]]]><![CDATA[> //--><!]]>$
我们此时可以将 C 式子改写为

因为当 G 数据分布于 D 分布不均时，就需要C 就需要加上关于$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- p_{data} //--><!]]]]><![CDATA[> //--><!]]>$与$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- p_g //--><!]]]]><![CDATA[> //--><!]]>$
各自的KL 散度，也就是

定值加上两者的 JSD 散度
由于JS 散度不为负数且当$<!--//--><![CDATA[// ><!-- <!--//--><![CDATA[// ><!-- p_g = p_{data} //--><!]]]]><![CDATA[> //--><!]]>$时为0（分布相同）.
于是得出题设的答案

效果与对比

展望

在当时作者最后提出几个重点展望

1. 一个条件模型使得有参量c可以随时被注入于模型 G 和 D
2. 半监督学习的提出
3. 后期论文DCGAN为GAN与CNN结合提供了具体实现方案。

来源：CSDN

作者：万能的仓鼠

链接：https://blog.csdn.net/OkingjerryO/article/details/78625321