Attention首次引入GAN是在AttnGAN论文中，主要是增强了文本到图像的细粒度生成上。AttnGAN的网络搭建相对庞大， 但是将Attention引入到GAN网络中已经是相当有开创意义的了。最近一篇基于Self-Attention在GAN中应用的论文将Self-Attention作为一个网络模块在GAN中使用， 大大缩小了网络复杂度，并且取得了不俗的效果。在ImageNet上实现了一个突破，这篇文章就是Self-Attention Generative Adversarial Networks 简称为SAGAN，这篇文章GAN的原作者Ian Goodfellow作为第二作者。

随着pytorch、tensorflow等一众机器学习的框架不断更新，对于计算机的软硬件的要求越来越高。在tensorflow-gpu1.4版本以后， GPU加速必须在cuda9以上才可以完成加速。cuda9以后的版本在Linux系统上只支持Ubuntu16.04和Ubuntu17.04，这个就强迫你不仅仅是要安装加速模块， 甚至还要升级系统，本博客将对Ubuntu16.04上安装cuda9.0+cudnn7.0做详细说明。

马尔科夫链应用在很多的领域，对于复杂的分布求解和采样达到了很实际的效果。虽然目前深度学习比较火的任然是深度神经网络的应用， 但是马尔科夫链在深度学习中占据着很重要的地位。Improving Sampling From Generative Autoencoder With Markov Chains 将马尔科夫链应用在了生成自编码器上，改善了潜在空间与先验分布不一致的问题，实现了较高质量的图像生成。

对于复杂的分布，要想对其采样如果采取取随机数去拟合后验分布的话，难度特别大。马尔可夫链蒙特卡罗(Markov Chain Monte Carlo, MCMC) 方法帮我们解决了这个问题，整体的思路就是利用平稳分布去代替复杂的分布再去取样拟合最终得到复杂样本的分布。所以MCMC方法是个十分有意义的方法， 我们今天来看看具体实现的思路。