下载掌阅APP，畅读海量书库
立即打开
生成对抗网络（GAN）在本质上是一个生成模型，是一种通过对抗过程来估计生成模型的新框架。GAN至少包括两个子网络：生成器和判别器。其中，生成器用于学习真实数据的分布，使生成数据与真实数据的分布尽可能一致；判别器在本质上是一个二分类器，用于判断输入的是真实数据还是生成数据。在训练阶段，生成器的任务是生成与真实数据分布非常相似的合成数据来“欺骗”判别器，而判别器的任务是最大化判断的准确率。GAN以两个子网络相互竞争的方式交替训练，当判别器对输入数据的来源无法确定时，GAN 达到稳定状态，此时生成器能够恢复真实数据的分布。GAN的结构如图2-1所示。
图2-1 GAN的结构
GAN的训练过程是极大极小博弈过程，生成器在训练过程中期望输出效果较好的结果，从而最小化判别器判断的准确率；而判别器则期望最大化判断输入来源的准确率，生成器和判别器在对抗训练的过程中使生成器产生较好的输出。在对抗训练中，传统的GAN以交叉熵作为目标函数，可以表示为：
式中， y 表示训练集中的真实数据； z 表示输入生成器的随机数据； G 和 D 分别表示生成器和判别器的输出； G （ · ）和 D （ · ）分别表示生成器和判别器的数学模型（也可表示输出）。在对抗训练过程中，判别器期望最小化判断错误的概率，将真实数据 y 预测为1，将生成器的输出 G （ z ）预测为0；生成器则期望不断提高生成数据与真实数据的相似度，从而降低判别器的判断准确率，使得判别器将输入 G （ z ）预测为1。
GAN的优化过程是以交替优化生成器和判别器的方式进行的，在优化判别器时，固定生成器的参数，通过小批量梯度上升算法优化判别器参数，判别器参数的优化过程如式（2-2）所示。
式中， θ d 表示判别器参数； m 表示小批量样本的数量； α 表示学习率；{ x （1），…， x （ m ）}表示 m 个真实数据；{ z （1），…， z （ m ）}表示输入的 m 个随机数据。
在优化生成器时，固定判别器参数，通过小批量梯度下降算法优化生成器参数，生成器参数的优化过程如式（2-3）所示。
式中， θ g 表示生成器参数。