购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

2.2 GAN概述

2.2.1 GAN的基本概念

生成对抗网络(GAN)在本质上是一个生成模型,是一种通过对抗过程来估计生成模型的新框架。GAN至少包括两个子网络:生成器和判别器。其中,生成器用于学习真实数据的分布,使生成数据与真实数据的分布尽可能一致;判别器在本质上是一个二分类器,用于判断输入的是真实数据还是生成数据。在训练阶段,生成器的任务是生成与真实数据分布非常相似的合成数据来“欺骗”判别器,而判别器的任务是最大化判断的准确率。GAN以两个子网络相互竞争的方式交替训练,当判别器对输入数据的来源无法确定时,GAN 达到稳定状态,此时生成器能够恢复真实数据的分布。GAN的结构如图2-1所示。

图2-1 GAN的结构

2.2.2 GAN的数学模型

GAN的训练过程是极大极小博弈过程,生成器在训练过程中期望输出效果较好的结果,从而最小化判别器判断的准确率;而判别器则期望最大化判断输入来源的准确率,生成器和判别器在对抗训练的过程中使生成器产生较好的输出。在对抗训练中,传统的GAN以交叉熵作为目标函数,可以表示为:

式中, y 表示训练集中的真实数据; z 表示输入生成器的随机数据; G D 分别表示生成器和判别器的输出; G · )和 D · )分别表示生成器和判别器的数学模型(也可表示输出)。在对抗训练过程中,判别器期望最小化判断错误的概率,将真实数据 y 预测为1,将生成器的输出 G z )预测为0;生成器则期望不断提高生成数据与真实数据的相似度,从而降低判别器的判断准确率,使得判别器将输入 G z )预测为1。

GAN的优化过程是以交替优化生成器和判别器的方式进行的,在优化判别器时,固定生成器的参数,通过小批量梯度上升算法优化判别器参数,判别器参数的优化过程如式(2-2)所示。

式中, θ d 表示判别器参数; m 表示小批量样本的数量; α 表示学习率;{ x (1),…, x m )}表示 m 个真实数据;{ z (1),…, z m )}表示输入的 m 个随机数据。

在优化生成器时,固定判别器参数,通过小批量梯度下降算法优化生成器参数,生成器参数的优化过程如式(2-3)所示。

式中, θ g 表示生成器参数。 O3CVkaEPxplIdcqexprRSfb0Ys1PiOUO/+zSnJX2doKUGyFmlnOSLhZv0XXd6PqX

点击中间区域
呼出菜单
上一章
目录
下一章
×