LSGAN(最小二乘GAN)介绍

LSGAN(最小二乘GAN)是各类GAN模型中我认为比较好的一种，实验和理论都不错，本文将带着大家一起看看LSGAN的原理。

仔细搜索和阅读论文后会发现LSGAN有两篇而且这两篇的差距还有点大，大家一定不要搞混，本文要介绍的是最小二乘GAN (least square GAN)，还有一篇也叫LSGAN但是那是由齐国君教授创作的，翻译为损失敏感GAN(loss sensitive GAN). 两者有很大的差别。目前比较火热的是损失敏感GAN，这篇文章是可以和GAN，WGAN相提并论级别的了，文章是由中国的齐国君创作，他现在就任美国中佛罗里达大学计算机系助理教授，他也是在知乎上大力推荐和解释自己的文章。我们今天说的是第一个，最小二乘GAN,损失敏感GAN我们下次再说。

Least Squares GAN这篇文章针对的是原始GAN生成的图片质量不高以及训练过程不稳定这两个缺陷进行改进。改进方法就是将GAN的目标函数由交叉熵损失换成最小二乘损失，而且这一个改变同时解决了两个缺陷。在解决GAN生成图片质量不高的问题时，作者解释为以交叉熵作为损失，会使得生成器不会再优化那些被判别器识别为真实图片的生成图片，即使这些生成图片距离判别器的决策边界仍然很远，也就是距真实数据比较远，这就导致了生成器的生成图片质量并不高。

而要使得最小二乘损失比较小，在骗过判别器的前提下还得让生成器把距离决策边界比较远的生成图片拉向决策边界，这样将在一定程度上提高生成图片与真实图片的相似度，从而提高图片质量，由下图可以看出。

最小二乘损失可以使得GAN的训练更稳定是由于LSGAN的损失函数的设计。在之前报告中提及原始GAN存在生成器梯度消失的情况，原因是当判别器最优时生成器的目标函数中JS散度会趋于常数log2，致使值趋于0出现梯度消失得情况。LSGAN采用最小二乘损失函数由公式1展示，给生成样本和真实样本分别编码为a,b，G的目标函数将编码a换成编码c，这个编码表示D将G生成的样本当成真实样本，取a=-1, b=1, c=0或者a=-1, b=c=1.这样处理后将避免生成器损失函数为0的发生。