GAN一经提出便引发了巨大的关注,由于其具有良好的理论支持,并且生成效果比较卓越,被广泛应用于各个方面。但训练GAN并非易事,在训练过程中,可能出现模式崩溃、损失不收敛、生成样本模糊等问题。本章将介绍一些GAN的训练技术来解决这些问题。
3.1节将介绍GAN训练时最常见的3个问题,梯度消失、目标函数不收敛与模式崩溃,并对其产生的原因进行分析。针对梯度消失问题,3.2节介绍了退火噪声法。针对GAN训练时目标函数的振荡与不稳定,3.3节和3.4节细致地讲解了谱正则化SNGAN和一致优化两种方法,3.5节还展示了很多GAN的训练技巧,例如特征匹配,历史均值等。对于模式崩溃问题,3.6节分别从目标函数和GAN结构两个角度介绍了一些可以有效缓解模式崩溃的算法,并具体介绍了unrolledGAN、DRAGAN、MADGAN、VVEGAN、Minibatch判别器等方法。