引言

近年來，人工智能與深度學(xué)習(xí)已經(jīng)成為耳熟能詳?shù)拿~。一般而言，深度學(xué)習(xí)模型可以分為判別式模型與生成式模型。由于反向傳播（Back propagation, BP）、Dropout等算法的發(fā)明，判別式模型得到了迅速發(fā)展。然而，由于生成式模型建模較為困難，因此發(fā)展緩慢，直到近年來最成功的生成模型——生成式對抗網(wǎng)絡(luò)的發(fā)明，這一領(lǐng)域才煥發(fā)新的生機(jī)。

生成式對抗網(wǎng)絡(luò)（Generative adversarial network, GAN）自Ian Goodfellow[1]等人提出后，就越來越受到學(xué)術(shù)界和工業(yè)界的重視。而隨著GAN在理論與模型上的高速發(fā)展，它在計(jì)算機(jī)視覺、自然語言處理、人機(jī)交互等領(lǐng)域有著越來越深入的應(yīng)用，并不斷向著其它領(lǐng)域繼續(xù)延伸。因此，本文將對GAN的理論與其應(yīng)用做一個(gè)總結(jié)與介紹。

GAN的基本思想

GAN受博弈論中的零和博弈啟發(fā)，將生成問題視作判別器和生成器這兩個(gè)網(wǎng)絡(luò)的對抗和博弈：生成器從給定噪聲中（一般是指均勻分布或者正態(tài)分布）產(chǎn)生合成數(shù)據(jù)，判別器分辨生成器的的輸出和真實(shí)數(shù)據(jù)。前者試圖產(chǎn)生更接近真實(shí)的數(shù)據(jù)，相應(yīng)地，后者試圖更完美地分辨真實(shí)數(shù)據(jù)與生成數(shù)據(jù)。由此，兩個(gè)網(wǎng)絡(luò)在對抗中進(jìn)步，在進(jìn)步后繼續(xù)對抗，由生成式網(wǎng)絡(luò)得的數(shù)據(jù)也就越來越完美，逼近真實(shí)數(shù)據(jù)，從而可以生成想要得到的數(shù)據(jù)（圖片、序列、視頻等）。

如果將真實(shí)數(shù)據(jù)和生成數(shù)據(jù)服從兩個(gè)分布，那么如圖所示

藍(lán)色分布為生成分布，綠色分布為真實(shí)分布，D為判別器，GAN從概率分布的角度來看，就是通過D來將生成分布推向真實(shí)分布，緊接著再優(yōu)化D，直至到達(dá)圖1(d)所示，到達(dá)Nash均衡點(diǎn)，從而生成分布與真實(shí)分布重疊，生成極為接近真實(shí)分布的數(shù)據(jù)。

GAN的基本模型

設(shè)z為隨機(jī)噪聲，x為真實(shí)數(shù)據(jù)，生成式網(wǎng)絡(luò)和判別式網(wǎng)絡(luò)可以分別用G和D表示，其中D可以看作一個(gè)二分類器，那么采用交叉熵表示，可以寫作:

其中第一項(xiàng)的logD(x)表示判別器對真實(shí)數(shù)據(jù)的判斷，第二項(xiàng)log(1 ? D(G(z)))表示則對數(shù)據(jù)的合成與判斷。通過這樣一個(gè)極大極小(Max-min)博弈，循環(huán)交替地分別優(yōu)化G和D來訓(xùn)練所需要的生成式網(wǎng)絡(luò)與判別式網(wǎng)絡(luò)，直到到達(dá)Nash均衡點(diǎn)。

GAN與Jensen-Shannon散度

對于原目標(biāo)函數(shù)，在生成器G固定參數(shù)時(shí)，可以得到最優(yōu)的判別器D。對于一個(gè)具體的樣本，它可能來自真實(shí)分布也可能來自生成分布，因此它對判別器損失函數(shù)的貢獻(xiàn)是：

其中pr為真實(shí)分布，pg為生成分布。令上式關(guān)于D(x)的導(dǎo)數(shù)為0，可以得到D(x)的全局最優(yōu)解為：

對于gan 的生成器的優(yōu)化函數(shù)可以寫成：

將最優(yōu)判別器代入，可以得到生成器的優(yōu)化函數(shù)為：

此處簡單回顧一下JS散度與KL散度：

顯然，(1)式與JS散度形式相似，可以轉(zhuǎn)換成：

綜上，可以認(rèn)為，當(dāng)判別器過優(yōu)時(shí)，生成器的loss可以近似等價(jià)于優(yōu)化真實(shí)分布與生成器產(chǎn)生數(shù)據(jù)分布的JS散度。

生成器與判別器的網(wǎng)絡(luò)

Ian在2014年提出的樸素GAN在生成器和判別器在結(jié)構(gòu)上是通過以多層全連接網(wǎng)絡(luò)為主體的多層感知機(jī)(Multi-layer Perceptron, MLP) 實(shí)現(xiàn)的，然而其調(diào)參難度較大，訓(xùn)練失敗相當(dāng)常見，生成圖片質(zhì)量也相當(dāng)不佳，尤其是對較復(fù)雜的數(shù)據(jù)集而言。

由于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)比MLP有更強(qiáng)的擬合與表達(dá)能力，并在判別式模型中取得了很大的成果。因此，Alec等人[2]將CNN引入生成器和判別器，稱作深度卷積對抗神經(jīng)網(wǎng)絡(luò)（Deep Convolutional GAN, DCGAN）。圖2為DCGAN生成器結(jié)構(gòu)圖。本質(zhì)上，DCGAN是在GAN的基礎(chǔ)上提出了一種訓(xùn)練架構(gòu)，并對其做了訓(xùn)練指導(dǎo)，比如幾乎完全用卷積層取代了全連接層，去掉池化層，采用批標(biāo)準(zhǔn)化(Batch Normalization, BN)等技術(shù)，將判別模型的發(fā)展成果引入到了生成模型中。此外，[2]還并強(qiáng)調(diào)了隱藏層分析和可視化計(jì)數(shù)對GAN訓(xùn)練的重要性和指導(dǎo)作用。

DCGAN雖然沒有帶來理論上以及GAN上的解釋性，但是其強(qiáng)大的圖片生成效果吸引了更多的研究者關(guān)注GAN，證明了其可行性并提供了經(jīng)驗(yàn)，給后來的研究者提供了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的參考。此外，DCGAN的網(wǎng)絡(luò)結(jié)構(gòu)也可以作為基礎(chǔ)架構(gòu)，用以評價(jià)不同目標(biāo)函數(shù)的GAN，讓不同的GAN得以進(jìn)行優(yōu)劣比較。DCGAN的出現(xiàn)極大增強(qiáng)了GAN的數(shù)據(jù)生成質(zhì)量。而如何提高生成數(shù)據(jù)的質(zhì)量（如生成圖片的質(zhì)量）也是如今GAN研究的熱門話題。

GAN的模型改進(jìn)

然而，GAN自從2014年提出以來，就存在著訓(xùn)練困難、不易收斂、生成器和判別器的loss無法指示訓(xùn)練進(jìn)程、生成樣本缺乏多樣性等問題。從那時(shí)起，很多研究人員就在嘗試解決，并提出了改進(jìn)方案，切實(shí)解決了部分問題，如生成器梯度消失導(dǎo)致的訓(xùn)練困難。當(dāng)然也還有很多問題亟待解決，如生成樣本的評價(jià)指標(biāo)問題。本文將簡單闡述幾個(gè)較為突出的的改進(jìn)措施。

WGAN

與前文的DCGAN不同，WGAN(Wasserstein GAN)并不是從判別器與生成器的網(wǎng)絡(luò)構(gòu)架上去進(jìn)行改進(jìn)，而是從目標(biāo)函數(shù)的角度出發(fā)來提高模型的表現(xiàn)[3]。Martin Arjovsky等人先闡述了樸素GAN因生成器梯度消失而訓(xùn)練失敗的原因[4]：他們認(rèn)為，樸素GAN的目標(biāo)函數(shù)在本質(zhì)上可以等價(jià)于優(yōu)化真實(shí)分布與生成分布的Jensen-Shannon散度。而根據(jù)Jensen-Shannon散度的特性，當(dāng)兩個(gè)分布間互不重疊時(shí)，其值會趨向于一個(gè)常數(shù)，這也就是梯度消失的原因。此外，Martin Arjovsky等人認(rèn)為，當(dāng)真實(shí)分布與生成分布是高維空間上的低維流形時(shí)，兩者重疊部分的測度為0的概率為1，這也就是樸素GAN調(diào)參困難且訓(xùn)練容易失敗的原因之一。

針對這種現(xiàn)象，Martin Arjovsky等人利用Wasserstein-1距離（又稱Earth Mover距離）來替代樸素GAN所代表的Jensen-Shannon散度[3]。Wasserstein距離是從最優(yōu)運(yùn)輸理論中的Kantorovich問題衍生而來的，可以如下定義真實(shí)分布與生成分布的Wasserstein-1距離：

其中pr,pg分別為真實(shí)分布與生成分布，

為pr,pg分的聯(lián)合分布。相較于Jensen-Shannon散度，Wasserstein-1距離的優(yōu)點(diǎn)在于，即使pr,pg互不重疊，Wasserstein距離依舊可以清楚地反應(yīng)出兩個(gè)分布的距離。為了與GAN相結(jié)合，將其轉(zhuǎn)換成對偶形式:

從表示GAN的角度理解，fw表示判別器，與之前的D不同的是，WGAN不再需要將判別器當(dāng)作0-1分類將其值限定在[0,1]之間，fw越大，表示其越接近真實(shí)分布；反之，就越接近生成分布。此外，||f||L ≤ 1表示其Lipschitz常數(shù)為1。顯然，Lipschitz連續(xù)在判別器上是難以約束的，為了更好地表達(dá)Lipschitz轉(zhuǎn)化成權(quán)重剪枝，即要求參數(shù)w ∈ [?c, c]，其中為常數(shù)。因而判別器的目標(biāo)函數(shù)為：

其中w ∈ [?c, c],生成器的損失函數(shù)為：

WGAN的貢獻(xiàn)在于，從理論上闡述了因生成器梯度消失而導(dǎo)致訓(xùn)練不穩(wěn)定的原因，并用Wasserstein距離替代了Jensen-Shannon散度，在理論上解決了梯度消失問題。此外，WGAN還從理論上給出了樸素GAN發(fā)生模式坍塌(mode collapse)的原因，并從實(shí)驗(yàn)角度說明了WGAN在這一點(diǎn)上的優(yōu)越性。最后，針對生成分布與真實(shí)分布的距離和相關(guān)理論以及從Wasserstein距離推導(dǎo)而出的Lipschitz約束，也給了后來者更深層次的啟發(fā)，如基于Lipschitz密度的 損失敏感GAN(loss sensitive GAN, LS-GAN)。

WGAN—GP

雖然WGAN在理論上解決了訓(xùn)練困難的問題，但它也有各種各樣的缺點(diǎn)。在理論上，由于對函數(shù)（即判別器）存在Lipschitz-1約束，這個(gè)條件難以在神經(jīng)網(wǎng)絡(luò)模型中直接體現(xiàn)，所以作者使用了權(quán)重剪枝(clip) 來近似替代Lipschitz-1約束。顯然在理論上，這兩個(gè)條件并不等價(jià)，而且滿足Lipschitz-1約束的情況多數(shù)不滿足權(quán)重剪枝約束。而在實(shí)驗(yàn)上，很多人認(rèn)為訓(xùn)練失敗是由權(quán)重剪枝引起的，如圖3。對此Ishaan Gulrajani提出了梯度帶梯度懲罰的WGAN（WGAN with gradient penalty, WGAN-GP）[5]，將Lipschitz-1約束正則化，通過把約束寫成目標(biāo)函數(shù)的懲罰項(xiàng)，以近似Lipschitz-1約束條件。

因而，WGAN的目標(biāo)函數(shù)可以寫作

其中

是pr與pg之間的線性采樣，即滿足

。此外，生成器的目標(biāo)函數(shù)與WGAN相同，取第二項(xiàng)進(jìn)行優(yōu)化即可。

WGAN-GP的貢獻(xiàn)在于，它用正則化的形式表達(dá)了對判別器的約束，也為后來GAN的正則化模型做了啟示。此外WGAN-GP基本從理論和實(shí)驗(yàn)上解決了梯度消失的問題，并且具有強(qiáng)大的穩(wěn)定性，幾乎不需要調(diào)參，即在大多數(shù)網(wǎng)絡(luò)框架下訓(xùn)練成功率極高。

LSGAN

雖然WGAN和WGAN-GP已經(jīng)基本解決了訓(xùn)練失敗的問題，但是無論是訓(xùn)練過程還是是收斂速度都要比常規(guī) GAN 更慢。受WGAN理論的啟發(fā)，Mao 等人提出了最小二乘GAN (least square GAN, LSGAN)[6]。LSGAN的一個(gè)出發(fā)點(diǎn)是提高圖片質(zhì)量。它的主要想法是為判別器D提供平滑且非飽和梯度的損失函數(shù)。這里的非飽和梯度針對的是樸素GAN的對數(shù)損失函數(shù)。顯然，x越大，對數(shù)損失函數(shù)越平滑，即梯度越小，這就導(dǎo)致對判別為真實(shí)數(shù)據(jù)的生成數(shù)據(jù)幾乎不會有任何提高。針對于此，LSGAN的判別器目標(biāo)函數(shù)如下：

生成器的目標(biāo)函數(shù)如下：

這里a, b, c滿足b ? c = 1和b ? a = 2。根據(jù)[6]，它等價(jià)于f散度中的散度

，也即是說，LSGAN用

散度取代了樸素GAN的Jensen-Shannon散度。

最后，LSGAN的優(yōu)越性在于，它緩解了GAN訓(xùn)練時(shí)的不穩(wěn)定，提高了生成數(shù)據(jù)的質(zhì)量和多樣性，也為后面的泛化模型f-GAN提供了思路。

f-GAN

由于樸素GAN所代表的Jensen-Shannon散度和前文提到的LSGAN所代表的

散度都屬于散度的特例，那么自然而然地想到，其它f散度所代表的GAN是否能取得更好的效果。實(shí)際上，這些工作早已完成[7]，時(shí)間更是早過WGAN與LSGAN。甚至可以認(rèn)為，是f-GAN開始了借由不同散度來代替Jensen-Shannon散度，從而啟示了研究者借由不同的距離或散度來衡量真實(shí)分布與生成分布。首先衡量p(x), q(x)的f散度可以表示成如下形式：

其中下半連續(xù)映射

，通過各種特定的函數(shù)f，可以得到不同的散度。其結(jié)果如表1所示：

此外，f-GAN還可以得到如下的泛化模型，其目標(biāo)函數(shù)如下：

其中vw是判別器的輸出函數(shù)，gf是最后一層的激活函數(shù)，

是f的共軛凸函數(shù)，以樸素GAN為例，當(dāng)

，時(shí)，上式即為樸素GAN的目標(biāo)函數(shù)。

LS-GAN(損失敏感GAN)與GLS-GAN

與前文提到的LSGAN (least square GAN)不同，這里的LS-GAN是指Loss-Sensitive GAN，即損失敏感GAN。一般認(rèn)為，GAN可以分為生成器G和判別器D。與之不同的是，針對判別器D，LS-GAN想要學(xué)習(xí)的是損失函數(shù)

，要求

在真實(shí)樣本上盡可能小，在生成樣本上盡可能大。由此，LS-GAN基于損失函數(shù)的目標(biāo)函數(shù)為：

生成器的目標(biāo)函數(shù)為：

此處?(x, zG )是來自約束假設(shè)

(x) ≤

( zG) ? ?(x, zG)，表示真實(shí)的樣本要與生成樣本間隔?(x,zG)的長度，如此LS-GAN就可以將

用于提高距離真實(shí)樣本較遠(yuǎn)的樣本上，可以更合理的發(fā)揮LS-GAN的建模能力。

此外，為了證明LS-GAN的收斂性，還做了一個(gè)基本的假設(shè)：要求真實(shí)分布限定在Lipschitz 密度上，即真實(shí)分布的概率密度函數(shù)建立在緊集上，并且它是Lipschitz連續(xù)的。通俗地說，就是要求真實(shí)分布的概率密度函數(shù)不能變化的太快，概率密度的變化不能隨著樣本的變化而無限地增大。

最后，Qi等人還對LS-GAN做了推廣，將其擴(kuò)展為GLS-GAN(Generalized LS-GAN)。所謂的GLS-GAN，就是將損失函數(shù)

的目標(biāo)函數(shù)擴(kuò)展為：

此處Cv (a) = max{a, va}，其中v∈ [?∞, 1]?？梢宰C明，當(dāng)v = 0時(shí)，GLS-GAN就是前文的LS-GAN。另外，當(dāng)v = 1時(shí)，可以證明，GLS-GAN就是WGAN。所以，Qi認(rèn)為，LS-GAN與WGAN都是GLS-GAN的一種特例。

EBGAN

樸素GAN提出將二分類器作為判別器以判別真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，并將生成數(shù)據(jù)“拉向”生成數(shù)據(jù)。然而自從WGAN拋棄了二分類器這個(gè)觀點(diǎn)，取以函數(shù)fw代替，并不將之局限在[0,1]之后，很多改進(jìn)模型也采取了類似的方法，并將之?dāng)U展開來。例如LS-GAN以損失函數(shù)

(x)作為目標(biāo)，要求

(x)在真實(shí)樣本上盡可能小，在生成樣本盡可能大。

基于能量的GAN(Energy-based GAN, EBGAN)則將之具體化了。它將能量模型以及其相關(guān)理論引入GAN，以“能量”函數(shù)在概念上取代了二分類器，表示對真實(shí)數(shù)據(jù)賦予低能量，對生成數(shù)據(jù)賦予高能量。

首先，EBGAN給出了它的目標(biāo)函數(shù)

其中[?] = max{0,?}，極大化LD的同時(shí)極小化LG。EBGAN的設(shè)計(jì)思想是，一方面減少真實(shí)數(shù)據(jù)的重構(gòu)誤差，另一方面，使得生成數(shù)據(jù)的重構(gòu)誤差趨近于m，即當(dāng)D(G(z)) < m時(shí)，改下為正，對LD的極小化產(chǎn)生貢獻(xiàn)，反之D(G(z)) ≥ m，LD為0，會通過極小化LG，將D(G(z))拉向m?？梢宰C明，當(dāng)

到達(dá)Nash均衡時(shí)，生成數(shù)據(jù)分布等于真實(shí)數(shù)據(jù)分布，并且此時(shí)LD的期望即

。此外在EBGAN中，對D的結(jié)構(gòu)也做了改進(jìn)。不再采用DCGAN對D的網(wǎng)絡(luò)框架或者其相似結(jié)構(gòu)，EBGAN對D的架構(gòu)采用自動(dòng)編碼器的模式，模型架構(gòu)如圖所示

可以發(fā)現(xiàn)，其判別器或者說能量函數(shù)D可以寫作

其中Enc，Dec是自編碼器中的編碼與解碼操作。

最后，由于自編碼器的特殊構(gòu)造，EBGAN還針對LG做了特殊設(shè)計(jì)，即增加一個(gè)正則項(xiàng)fPT來避免模式崩潰(mode collapse)問題。設(shè)

是一個(gè)batch的編碼器(encoder)輸出結(jié)果，fPT可以定義為

其思想很簡單，利用一個(gè)批次的編碼器輸出結(jié)果計(jì)算余弦距離并求和取均值，若這一項(xiàng)越小，則兩兩向量越接近正交。從而解決模式崩潰問題，不會出現(xiàn)一樣或者極其相似的圖片數(shù)據(jù)。

BEGAN

以上的GAN在本質(zhì)上的目標(biāo)是讓真實(shí)分布pr與生成分布pg盡量接近，大多數(shù)GAN之間可以解釋成其區(qū)別在于衡量方式不同，比如樸素GAN的Jensen-Shannon散度，WGAN的Wasserstein距離，f-GANs的f散度等等。

特殊的是，邊界平衡GAN(Boundary Equilibrium Generative Adversarial Networks, BEGAN)顛覆了這種思路，雖然它是基于WGAN與EBGAN上發(fā)展而來的。

首先，設(shè)D為判別函數(shù)，其結(jié)構(gòu)采用上一節(jié)中EBGAN上的自編碼器的模式，即

另外，設(shè)

為D(x)與D(G(z))的分布，其中x即為輸入的樣本圖片，G(z)為生成圖片，那么真實(shí)分布pr與生成分布pg之間的Wasserstein距離如下

設(shè)m1,m2為

的期望，根據(jù)Jensen不等式，有

由此，BEGAN的特殊性在于，它優(yōu)化的不是真實(shí)分布pr與生成分布pg之間的距離，而是樣本圖片和生成圖片下的判別函數(shù)的分布之間的Wasserstein下界。

要計(jì)算Wasserstein下界，就要最大化|m1 ? m2|，顯然它至少有兩個(gè)解，極大化m1，極小化m2或者極大化m2，極小化m1，此處取后一種，即可從優(yōu)化

Wasserstein下界的角度看待GAN下的優(yōu)化，即

上式均取極小值，前者LD優(yōu)化

，極大化m2，極小化m1，由此計(jì)算Wasserstein下界；后者LG優(yōu)化

，極小化m2，由此優(yōu)化Wasserstein下界。

當(dāng)上述的GAN成功訓(xùn)練到達(dá)均衡點(diǎn)，顯然有：

當(dāng)真實(shí)分布pr與生成分布pg相等時(shí)，顯然滿足上式。但是在訓(xùn)練時(shí)，并不是兩者完全重疊最佳，LS-GAN在設(shè)計(jì)時(shí)就有這種思想。同樣，BEGAN在設(shè)計(jì)時(shí)選擇通過超參

∈ [0,1]來放寬均衡點(diǎn)

即生成樣本判別損失的期望與真實(shí)樣本判別損失的期望值之比。而此處之所以讓判別器設(shè)計(jì)成自編碼其的模式，是因?yàn)榕袆e器有兩個(gè)作用：1.對真實(shí)圖片自編碼；2. 區(qū)分生成圖片與真實(shí)圖片。超參

的特殊之處在于，它能平衡這兩個(gè)目標(biāo)：

值過低會導(dǎo)致圖片多樣性較差，因?yàn)榕袆e器太過關(guān)注對真實(shí)圖片自編碼；反之，圖片視覺質(zhì)量則會不佳。

由此，可以BEGAN的目標(biāo)函數(shù)如下

其中

初始化為0，

為學(xué)習(xí)率(learning rate)。

此外，BEGAN的另一個(gè)卓越效果是，它的網(wǎng)絡(luò)結(jié)構(gòu)極為簡單，不需要ReLU，minbatch，Batch Normalization等非線性操作，但其圖片質(zhì)量遠(yuǎn)遠(yuǎn)超過與其結(jié)構(gòu)相近的EBGAN。

改進(jìn)模型的總結(jié)

前文除了DCGAN，其余的改進(jìn)都是基于目標(biāo)函數(shù)。如果不考慮InfoGAN，CGAN和Auto-GAN等當(dāng)下流行的GAN模型，可以將針對目標(biāo)函數(shù)的改進(jìn)分為兩種，正則化與非正則化。如圖所示：

一般認(rèn)為，到目前為止，GLS-GAN有更好的建模能力。而GLS-GAN的兩種特例LS-GAN和WGAN都是建立在Lipschitz連續(xù)函數(shù)空間中進(jìn)行訓(xùn)練。而對判別器或損失函數(shù)而言，至今也尚未發(fā)現(xiàn)比Lipschitz約束更好的限制判別能力的條件，這也可能是今后研究的難點(diǎn)。

GAN的應(yīng)用模型改進(jìn)

以上對GAN的改進(jìn)可以說是對GAN基礎(chǔ)的改進(jìn)。然而基礎(chǔ)的GAN有時(shí)在實(shí)際中是不足以滿足我們對生成數(shù)據(jù)的要求。例如，有時(shí)侯我們會要求生成指定的某類圖像，而不是隨意模擬樣本數(shù)據(jù)，比如生成某個(gè)文字；有時(shí)我們要求對圖像某些部分做生成替換，而不是生成全部的圖像，比如消除馬賽克。基于這些實(shí)際生活上的要求，GAN也需要對模型的結(jié)構(gòu)做出調(diào)整，以滿足生成我們需要的數(shù)據(jù)。

cGAN

如今在應(yīng)用領(lǐng)域，絕大多數(shù)的數(shù)據(jù)是多標(biāo)簽的數(shù)據(jù)，而如何生成指定標(biāo)簽的數(shù)據(jù)就是條件GAN(conditional GAN，cGAN)在GAN模型上做的貢獻(xiàn)。在基本的GAN模型中，生成器是通過輸入一串滿足某個(gè)分布的隨機(jī)數(shù)來實(shí)現(xiàn)的（一般以均勻分布和高斯分布為主下，當(dāng)然，改進(jìn)后的GAN也有不以隨機(jī)數(shù)作為生成器的輸入值的，如CycleGAN等，此處暫不討論），而在CGAN中，不僅要輸入隨機(jī)數(shù)，還需要將之與標(biāo)簽類別做拼接(concat，一般要將標(biāo)簽轉(zhuǎn)換成如one-hot或其它的tensor)，再將其輸入生成器生成所需要的數(shù)據(jù)。此外，對判別器，也需要將真實(shí)數(shù)據(jù)或生成數(shù)據(jù)與對應(yīng)的標(biāo)簽類別做拼接，再輸入判別器的神經(jīng)網(wǎng)絡(luò)進(jìn)行識別和判斷，其目標(biāo)函數(shù)如下：

其模型結(jié)構(gòu)圖如下：

InfoGAN

自cGAN被提出后，針對cGAN的后續(xù)工作，也有很多學(xué)者利用cGAN做了應(yīng)用或者改進(jìn)。如拉普拉斯GAN (Laplacian Generative Adversarial Networks, LAPGAN)結(jié)合了GAN與cGAN的原理，利用一個(gè)串聯(lián)的網(wǎng)絡(luò)，以上一級生成的圖片作為條件變量，構(gòu)成拉普拉斯金字塔(laplacian pyramid)，從而生成從粗糙到精密的圖片。

InfoGAN(MutualInformation)本質(zhì)上也可以看作是一種cGAN。從出發(fā)點(diǎn)看，InfoGAN是基于樸素GAN改進(jìn)的。它將原先生成器上輸入的z進(jìn)行分解，除了原先的噪聲z以外，還分解出一個(gè)隱含編碼c。其中c除了可以表示類別以外，還可以包含多種變量。以MNIST數(shù)據(jù)集為例，還可以表示諸如光照方向，字體的傾斜角度，筆畫粗細(xì)等。InfoGAN的基本思想是，如果這個(gè)c能解釋生成出來的G(z,c)，那么c應(yīng)該與G(z,c)由高度的相關(guān)性。在InfoGAN中，可以表示為兩者的互信息，目標(biāo)函數(shù)可以寫作

然而在互信息I(c; G(z, c))的優(yōu)化中，真實(shí)的P(c|x)很難計(jì)算，因此作者采用了變分推斷的思想，引入了變分分布Q(c|x)來逼近P(c|x)，

如此可以定義變分下界為

這樣InfoGAN的目標(biāo)函數(shù)可以寫作

從模型結(jié)構(gòu)上，可以表示成如下所示

Q通過與D共享卷積層，計(jì)算花銷大大減少。此外，Q是一個(gè)變分分布，在神經(jīng)網(wǎng)絡(luò)中直接最大化，Q也可以視作一個(gè)判別器，輸出類別c。

InfoGAN的重要意義在于，它通過從噪聲z中拆分出結(jié)構(gòu)化的隱含編碼c的方法，使得生成過程具有一定程度的可控性，生成結(jié)果也具備了一定的可解釋性。

Pix2Pix

圖像作為一種信息媒介，可以有很多種表達(dá)方式，比如灰度圖、彩色圖、素描圖、梯度圖等。圖像翻譯就是指這些圖像的轉(zhuǎn)換，比如已知灰度圖，進(jìn)而生成一張彩色照片。多年以來，這些任務(wù)都需要用不同的模型去生成。在GAN以及CGAN出現(xiàn)后，這些任務(wù)成功地可以用同一種框架來解決，即基于CGAN的變體——Pix2Pix。

Pix2Pix將生成器看作是一種映射，即將圖片映射成另一張需要的圖片，所以才將該算法取名為Pix2Pix，表示map pixels to pixels，即像素到像素的映射。這種觀點(diǎn)也給了后來研究者改進(jìn)的想法和啟發(fā)。

因此，生成器輸入除隨機(jī)數(shù)z以外，將圖片x（如灰度圖，素描圖等）作為條件進(jìn)行拼接，輸出的是轉(zhuǎn)換后的圖片（如照片）。而判別器輸入的是轉(zhuǎn)換后的圖片或真實(shí)照片，特別之處在于，文章發(fā)現(xiàn)，判別器也將生成器輸入的圖片x作為條件進(jìn)行拼接，會極大提高實(shí)驗(yàn)的結(jié)果，其結(jié)構(gòu)圖如下所示（此處結(jié)構(gòu)圖隱去了生成器的隨機(jī)數(shù)z）

Pix2Pix的目標(biāo)函數(shù)分為兩部分，首先是基于CGAN的目標(biāo)函數(shù)，如下式所示，

此外，還有生成的圖像與原圖一致性的約束條件

將之作為正則化約束，所以Pix2Pix的目標(biāo)函數(shù)為

Pix2Pix成功地將GAN應(yīng)用于圖像翻譯領(lǐng)域，解決了圖像翻譯領(lǐng)域內(nèi)存在的眾多問題，也為后來的研究者做了重要的啟發(fā)。

CycleGAN

然而，Pix2Pix致命的缺點(diǎn)在于，Pix2Pix的訓(xùn)練需要相互配對的圖片x與y，然而，這類數(shù)據(jù)是極度缺乏的，也為極大限制了Pix2Pix的應(yīng)用。

對此，CycleGAN提出了不需要配對的數(shù)據(jù)的圖像翻譯方法。

設(shè)X，Y為兩類圖像，px，py為兩類圖像間的相互映射。CycleGAN由兩對生成器和判別器組成，分別為

，若以wgan為基礎(chǔ)，那么對Y類圖像，有

同樣，對X類圖像，有

此外，Cycle以及CycleGAN中較為重要的想法循環(huán)一致性（Cycle-Consistent），這也是CycleGAN中Cycle這一名稱的由來。循環(huán)一致性也可以看作是Pix2Pix一致性約束的演變進(jìn)化，其基本思想是兩類圖像經(jīng)過兩次相應(yīng)的映射后，又會變?yōu)樵瓉淼膱D像。因此，循環(huán)一致性可以寫作

因此，優(yōu)化問題可以寫成

其中

為常數(shù)。

CycleGAN的成功之處在于，他們用如此簡單的模型，成功解決了圖像翻譯領(lǐng)域面臨的數(shù)據(jù)缺乏問題。不需要配對的兩個(gè)場景的相互映射，實(shí)現(xiàn)了圖像間的相互轉(zhuǎn)換，是圖像翻譯領(lǐng)域的又一重大突破。

StarGAN

由上所述，Pix2Pix解決了有配對的圖像翻譯問題，CycleGAN解決了無配對的圖像翻譯問題，然而無論是Pix2Pix又或者是Cycle，他們對圖像翻譯而言，都是一對一的，也即是一類圖像對一類圖像。然而涉及多類圖像之間的轉(zhuǎn)換，就需要CycleGAN進(jìn)行一對一逐個(gè)訓(xùn)練，如圖6(a)所示，顯然這樣的行為是極為低效的。

針對這種困境，StarGAN解決了這類問題。如下圖所示，StarGAN希望能夠通過一個(gè)生成器解決所有跨域類別問題。

針對于此，StarGAN在生成器與判別器的設(shè)計(jì)以及模型結(jié)構(gòu)上如下圖所示：

模型中(a)-(d)的要求如下：

• （a）D學(xué)會區(qū)分真實(shí)圖像和生成圖像，并將真實(shí)圖像分類到其對應(yīng)的域。因此，對D而言，實(shí)際上是由兩部分組成的，即

• （b）拼接目標(biāo)標(biāo)簽與輸入圖片，將之輸入G，并生成相應(yīng)的圖像；
• （c）在給定原始域標(biāo)簽的情況下，G要盡量能重建原始圖像。這與CycleGAN的循環(huán)一致性一脈相承；
• （d）這一點(diǎn)與一般的GAN相同，G要盡量生成與真實(shí)圖像相似的圖像，但同時(shí)又盡量能被D區(qū)分出來。

從目標(biāo)函數(shù)上來看，首先判別器的目標(biāo)函數(shù)，要求滿足GAN的結(jié)構(gòu)，即

此外，還要就判別器能將真實(shí)圖像分類到相應(yīng)的域，

針對生成器，除了

對應(yīng)的GAN的結(jié)構(gòu)外，還要求判別器能將生成圖像分類到相應(yīng)的域

此外，還要求盡量能重建原始圖像

其中，c′為原始圖像對應(yīng)的類別。如此，可以得到判別器的目標(biāo)函數(shù)

以及生成器的目標(biāo)函數(shù)為

其中

均為常數(shù)。

StarGAN作為CycleGAN的推廣，將兩兩映射變成了多領(lǐng)域之間的映射，是圖像翻譯領(lǐng)域的又一重大突破。此外，StarGAN還可以通過實(shí)現(xiàn)多數(shù)據(jù)集之間的聯(lián)合訓(xùn)練（比如將擁有膚色，年齡等標(biāo)簽的CelebA數(shù)據(jù)集和擁有生氣、害怕等表情標(biāo)簽的RaFD數(shù)據(jù)集），將之訓(xùn)練到同一個(gè)模型，完成了模型的壓縮，是圖像翻譯領(lǐng)域的一大突破。

GAN 的應(yīng)用

GAN最直接的應(yīng)用在于數(shù)據(jù)的生成，也就是通過GAN的建模能力生成圖像、語音、文字、視頻等等。而如今，GAN最成功的應(yīng)用領(lǐng)域主要是計(jì)算機(jī)視覺，包括圖像、視頻的生成，如圖像翻譯、圖像上色、圖像修復(fù)、視頻生成等。此外GAN在自然語言處理，人機(jī)交互領(lǐng)域也略有拓展和應(yīng)用。本章節(jié)將從圖像領(lǐng)域、視頻領(lǐng)域以及人機(jī)交互領(lǐng)域分別介紹GAN的相關(guān)應(yīng)用。

圖像領(lǐng)域

例如，CycleGAN就是GAN在圖像領(lǐng)域上的一種重要應(yīng)用模型。CycleGAN以無需配對的兩類圖像為基礎(chǔ)，可以通過輸入一張哭臉將其轉(zhuǎn)變?yōu)樾δ?。StarGAN是CycleGAN的進(jìn)一步擴(kuò)展，一個(gè)類別與一個(gè)類別對應(yīng)就要訓(xùn)練一次太過麻煩，我們不但需要把笑臉轉(zhuǎn)化為哭臉，還需要把它轉(zhuǎn)化為驚訝，沮喪等多種表情，而StarGAN實(shí)現(xiàn)了這種功能。

此外，很多的GAN技術(shù)也有將文字描述轉(zhuǎn)換成圖片，根據(jù)輪廓圖像生成接近真實(shí)的照片等等功能。

視頻領(lǐng)域

Mathieu[10]等人首先將GAN訓(xùn)練應(yīng)用于視頻預(yù)測，即生成器根據(jù)前面一系列幀生成視頻最后一幀，判別器對該幀進(jìn)行判斷。除最后一幀外的所有幀都是真實(shí)的圖片，這樣的好處是判別器能有效地利用時(shí)間維度的信息，同時(shí)也有助于使生成的幀與前面的所有幀保持一致。實(shí)驗(yàn)結(jié)果表明，通過對抗訓(xùn)練生成的幀比其他算法更加清晰。

此外，Vondrick[11]等人在視頻領(lǐng)域也取得了巨大進(jìn)展，他們能生成32幀分辨率為64×64 的逼真視頻，描繪的內(nèi)容包括高爾夫球場、沙灘、火車站以及新生兒。經(jīng)過測試，20%的標(biāo)記員無法識別這些視頻的真?zhèn)巍?/p>

人機(jī)交互領(lǐng)域

Santana等人實(shí)現(xiàn)了利用GAN 的輔助自動(dòng)駕駛。首先，生成與真實(shí)交通場景圖像分布一致的圖像，然后，訓(xùn)練一個(gè)基于循環(huán)神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)移模型來預(yù)測下一個(gè)交通場景。

另外，GAN還可以用于對抗神經(jīng)機(jī)器翻譯，將神經(jīng)機(jī)器翻譯（neural machine translation, NMT）作為GAN 的生成器，采用策略梯度方法訓(xùn)練判別器，通過最小化人類翻譯和神經(jīng)機(jī)器翻譯的差別生成高質(zhì)量的翻譯。

總結(jié)

GAN由于其強(qiáng)大的生成能力，正被廣泛地研究與關(guān)注。目前，在學(xué)術(shù)領(lǐng)域，目前GAN訓(xùn)練指標(biāo)，模式坍塌以及模型的生成能力的可解釋性正受廣泛的關(guān)注。最后，在拓展應(yīng)用領(lǐng)域，由于生成的圖片有較高的噪音，如何提高數(shù)據(jù)（圖片或視頻等）也是研究的一大熱點(diǎn)。此外，GAN作為一種深度模型，也是解決自然語言處理(Natural Language Processing, NLP)天然的良好模型。如何將GAN應(yīng)用在NLP領(lǐng)域也是下一步要解決的問題。