|
GAN自從誕生以來，一路升級，功能越來越強。 這種強大的方法走過了怎樣的進(jìn)化之路？ GAN的誕生和構(gòu)架GAN誕生在2014年，Ian Goodfellow和他的同事發(fā)表了名為生成性對抗網(wǎng)絡(luò)Generative Adversarial Nets的論文。 GAN的構(gòu)架從此奠定。 它由生成器generators 和 判別器discriminators兩部分組成，以無人監(jiān)督的方式運行。 生成器抓取數(shù)據(jù)并產(chǎn)生新的合成樣本，混入原始數(shù)據(jù)中，一起送給判別器，判別器區(qū)分哪些是原始數(shù)據(jù)，哪些是后來合成的。這一過程反復(fù)進(jìn)行，直到判別器無法以超過50%準(zhǔn)確度從合成樣本中分辨出真實樣本。 在實踐中，GAN的構(gòu)架也帶來一些缺陷。 首先，同時訓(xùn)練生成器和判別器與生俱來的不穩(wěn)定性。每次參數(shù)更新后，需要優(yōu)化的問題性質(zhì)都會發(fā)生變化，因此模型內(nèi)部的參數(shù)值會振蕩或不穩(wěn)定。更嚴(yán)重的情況是，生成器崩潰，吐出一大堆看起來同類的樣本。 其次，生成器和判別器還有互相壓倒的風(fēng)險。如果生成器太精確，就會去利用判別器的弱點鉆空子，而不是靠生成更逼真的圖片來欺騙判別器；如果判別器太精確，就會阻礙生成器的收斂過程。 最后，缺乏訓(xùn)練數(shù)據(jù)，也會影響到GAN在語義方面的發(fā)展， 不過，英特爾AI實驗室的高級主管Hanlin Tang 表示，正在出現(xiàn)的新興技術(shù)可以應(yīng)對這些局限。他提出了兩種方法，一是將多個判別器放入一個模型中，并根據(jù)特定數(shù)據(jù)進(jìn)行微調(diào)。二是喂給判別器密集的嵌入表示，或者數(shù)據(jù)的數(shù)字表示。這樣它們可以有更多的信息，來從中提取。 GAN的應(yīng)用：從圖片到語音1、圖像 GAN最有常見和有名的應(yīng)用是合成以假亂真的圖像。 比如英偉達(dá)的Style GAN，可以把人物B的臉部特征遷移到人物A上。 詳細(xì)介紹可以戳： 這些假臉實在太逼真了！英偉達(dá)造出新一代GAN，生成壁紙級高清大圖毫無破綻 除了人臉，還可以進(jìn)行其它對象之間的遷移?？▋?nèi)基·梅隆大學(xué)的科學(xué)家開發(fā)了出了Recycle-GAN，它能把一個視頻或照片的內(nèi)容傳到另一個上。 比如人臉和動畫臉： 或者讓一朵花模仿另一朵開的姿勢： 2、視頻 從圖片前進(jìn)一步，就是視頻。Deepmind開發(fā)了DVD-GAN 原始數(shù)據(jù)集是從Youtube上收集的50萬張10秒長的高分辨率視頻，最終可以生成256 x 256像素視頻，最長能有48幀。 3、音樂 除了可以來制作照片，GAN還可以用來作曲。 亞馬遜的deepcomposer鍵盤的原理和GAN一致。 輸入一個簡單的旋律，生成器根據(jù)隨機數(shù)據(jù)創(chuàng)建樣本，判別器進(jìn)行區(qū)分。兩者反復(fù)改進(jìn)，最終就會生成一段樂曲。 Demo試聽可戳：1行代碼就能跑個量子計算！AWS年度巨獻(xiàn)：還有3種超牛硬件隨你挑 | 狄拉克孫子點贊 4、語音 GAN在語音上的應(yīng)用并不多，谷歌和帝國理工學(xué)院的研究者一起研發(fā)了GAN-TTS，這個系統(tǒng)運用GAN，將文本轉(zhuǎn)為自然真實的語音。 這個系統(tǒng)里有10個辨別器，一部分負(fù)責(zé)判別輸出的語音和文本是否一致，另外一部分只關(guān)注語音是否真實自然。 5、檢測垃圾評論 想解決網(wǎng)上有人用機器刷虛假評論的問題。有研究者開發(fā) spamGAN來檢測網(wǎng)上的垃圾評論。 spamFAN采用半監(jiān)督學(xué)習(xí)的技術(shù)，其中將未標(biāo)記的數(shù)據(jù)與少量標(biāo)記的數(shù)據(jù)結(jié)合使用。 在使用10％的標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練時，準(zhǔn)確性達(dá)到了71％至86％。 GAN的未來：如何精細(xì)控制盡管GAN已經(jīng)取得了很多的進(jìn)步，英特爾實驗室的Hanlin Tang 表示，現(xiàn)在依舊處于早期。
在計算方面，也有研究人員嘗試輕型模型。 IBM多模式算法和引擎小組的研究人員Youssef Mroueh正在和同事一起開發(fā)小型GAN，用來減少訓(xùn)練時間和內(nèi)存使用。 它們想努力實現(xiàn)的是，如果生成器太精確，就會去利用判別器的弱點鉆空子，而不是靠生成更逼真的圖片來欺騙生成器；如果判別器太精確，就會阻礙生成器的收斂過程 如果不用那么多的計算量，不做那么多麻煩的事情，應(yīng)該怎么改變模型。這就是他們現(xiàn)在努力的方向。 參考資料：https:///2019/12/26/gan-generative-adversarial-network-explainer-ai-machine-learning/https://papers./paper/5423-generative-adversarial-nets.pdf — 完 — 量子位 QbitAI · 頭條號簽約 關(guān)注我們，第一時間獲知前沿科技動態(tài) |
|
|
