|
本周《自然》發(fā)表的一篇論文Mastering the game of Go without human knowledge報道，一款新版的AlphaGo計算機程序能夠從空白狀態(tài)起，在不需要任何人類輸入的條件下，迅速自學(xué)圍棋。這款新程序名叫AlphaGo Zero，以100比0的戰(zhàn)績打敗了它的前任（在2016年3月的錦標(biāo)賽中，其前任打敗了圍棋冠軍Lee Sedol）。 DeepMind的創(chuàng)始人 CEO Demis Hassabis 人工智能的最大挑戰(zhàn)是研發(fā)一種能從零開始、以超人類的水平學(xué)習(xí)復(fù)雜概念的算法。為了打敗人類圍棋世界冠軍，科學(xué)家在訓(xùn)練上一款A(yù)lphaGo時，同時用到了監(jiān)督式學(xué)習(xí)（基于上百萬種人類專業(yè)選手的下棋步驟）和基于自我對弈的強化學(xué)習(xí)。那款A(yù)lphaGo的訓(xùn)練過程長達幾個月，用到多臺機器和48個TPU（神經(jīng)網(wǎng)絡(luò)訓(xùn)練所需的專業(yè)芯片）。 本文中，英國DeepMind的David Silver, Julian Schrittwieser, Karen Simonyan, Demis Hassabis和同事介紹了AlphaGo Zero，它的學(xué)習(xí)從零開始，且單純基于與自己的對弈。人類的輸入僅限于棋盤和棋子，沒有任何人類數(shù)據(jù)。AlphaGo Zero僅用到一張神經(jīng)網(wǎng)絡(luò)，這張網(wǎng)絡(luò)經(jīng)過訓(xùn)練，專門預(yù)測程序自身的棋步和棋局的贏家，在每次自我對弈中進步。新程序只使用一臺機器和4個TPU。 通過幾天的訓(xùn)練——包括近500萬局自我對弈——AlphaGo Zero便能夠超越人類并打敗所有之前的AlphaGo版本。隨著程序訓(xùn)練的進行，它獨立發(fā)現(xiàn)了人類用幾千年才總結(jié)出來的圍棋規(guī)則，還建立了新的戰(zhàn)略，為這個古老的游戲帶來新見解。 論文深度解讀 下文作者為Nature上海辦公室的開明，內(nèi)容未經(jīng)過同行評議，已首發(fā)于果殼科學(xué)人。 人工智能棋手 AlphaGo先后戰(zhàn)勝了兩位頂尖圍棋高手李世乭和柯潔。在這場猛烈風(fēng)暴席卷了世界后，AlphaGo宣布不再和人下棋。但它的創(chuàng)造者并沒有因此停下腳步，AlphaGo還在成長，今天Deepmind又在《自然》期刊上發(fā)表了關(guān)于 AlphaGo的新論文。 Deepmind于2016年1月28日在Nature雜志上發(fā)表第一篇關(guān)于AlphaGo的論文，并登上封面。 Nature 這篇論文中的 AlphaGo是全新的，它不是戰(zhàn)勝柯潔的那個最強的 Master，但卻是孿生兄弟。它的名字叫AlphaGo Zero。和以前的 AlphaGo相比，它： · 從零開始學(xué)習(xí)，不需要任何人類的經(jīng)驗 · 使用更少的算力得到了更好的結(jié)果 · 發(fā)現(xiàn)了新的圍棋定式 · 將策略網(wǎng)絡(luò)和值網(wǎng)絡(luò)合并 · 使用了深度殘差網(wǎng)絡(luò) 白板理論（Tabula rasa) AlphaGo Zero最大的突破是實現(xiàn)了白板理論。白板理論是哲學(xué)上的一個著名觀點，認為嬰兒生下來是白板一塊，通過不斷訓(xùn)練、成長獲得知識和智力。 作為 AI 領(lǐng)域的先驅(qū)，圖靈使用了這個想法。在提出了著名的“圖靈測試”的論文中，他從嬰兒是一塊白板出發(fā)，認為只要能用機器制造一個類似小孩的 AI，然后加以訓(xùn)練，就能得到一個近似成人智力，甚至超越人類智力的AI。 現(xiàn)代科學(xué)了解到的事實并不是這樣，嬰兒生下來就有先天的一些能力，他們偏愛高熱量的食物，餓了就會哭鬧希望得到注意。這是生物體在億萬年的演化中學(xué)來的。 監(jiān)督學(xué)習(xí) Vs 無監(jiān)督學(xué)習(xí) 計算機則完全不同，它沒有億萬年的演化，因此也沒有這些先天的知識，是真正的“白板一塊”。監(jiān)督學(xué)習(xí)（Supervised Learning）和無監(jiān)督學(xué)習(xí)（Unsupervised Learning）是鏡子的兩面，兩者都想解決同一個問題——如何讓機器從零開始獲得智能？ 監(jiān)督學(xué)習(xí)認為人要把自己的經(jīng)驗教給機器。拿分辨貓貓和狗狗的AI來說，你需要準(zhǔn)備幾千張照片，然后手把手教機器——哪張照片是貓，哪張照片是狗。機器會從中學(xué)習(xí)到分辨貓狗的細節(jié)，從毛發(fā)到眼睛到耳朵，然后舉一反三得去判斷一張它從沒見過的照片是貓貓還是狗狗。 而無監(jiān)督學(xué)習(xí)認為機器要去自己摸索，自己發(fā)現(xiàn)規(guī)律。人的經(jīng)驗或許能幫助機器掌握智能，但或許人的經(jīng)驗是有缺陷的，不如讓機器自己發(fā)現(xiàn)新的，更好的規(guī)律。人的經(jīng)驗就放一邊吧。 從無知到無敵 就像這篇新論文中講述的那樣。AlphaGo Zero是無監(jiān)督學(xué)習(xí)的產(chǎn)物，而它的雙胞胎兄弟Master則用了監(jiān)督學(xué)習(xí)的方法。在訓(xùn)練了72小時后AlphaGo Zero就能打敗戰(zhàn)勝李世乭的 AlphaGo Lee，相比較AlphaGo Lee訓(xùn)練了幾個月。而40天后，它能以89:11的成績，將戰(zhàn)勝了所有人類高手的Master甩在后面。 AlphaGo Zero從0開始的學(xué)習(xí)曲線,這個版本的神經(jīng)網(wǎng)絡(luò)由40個模塊組成。 圖片來自DeepMind 圖靈的白板假設(shè)雖然無法用在人身上，但是AlphaGo Zero證明了，一個白板AI能夠被訓(xùn)練成超越人類的圍棋高手。 強化學(xué)習(xí) 強化學(xué)習(xí)（Reinforcement Learning）是一種模仿人類學(xué)習(xí)方式的模型，它的基本方法是：要是機器得到了好的結(jié)果就能得到獎勵，要是得到差的結(jié)果就得到懲罰。AlphaGo Zero并沒有像之前的兄弟姐妹一樣被教育了人類的圍棋知識。它只是和不同版本的自己下棋，然后用勝者的思路來訓(xùn)練新的版本，如此不斷重復(fù)。 AlphaGo Zero就像人類初學(xué)者，需要經(jīng)歷一定時間摸索。不同訓(xùn)練階段進行的三場自我對弈游戲中的頭80步，圖中顯示的下法來自AlphaGo Zero的一個版本，這個版本的神經(jīng)網(wǎng)絡(luò)由20個模塊組成。 圖片來自DeepMind 通過這一方法，AlphaGo Zero完全自己摸索出了開局、收官、定式等以前人類已知的圍棋知識，也摸索出了新的定勢。 算法和性能 如何高效合理得利用計算資源？這是算法要解決的一個重要問題。AlphaGo Lee使用了48個TPU，更早版本的 AlphaGo Fan（打敗了樊麾的版本）使用了176個GPU，而Master和AlphaGo Zero僅僅用了4個TPU，也就是說一臺電腦足夠！ 由于在硬件和算法上的進步，AlphaGo變得越來越有效率。 圖片來自DeepMind AlphaGo Zero在72小時內(nèi)就能超越AlphaGo Lee也表明，優(yōu)秀的算法不僅僅能降低能耗，也能極大提高效率。另外這也說明，圍棋問題的復(fù)雜度并不需要動用大規(guī)模的計算能力，那是只浪費。 AlphaGo Zero的算法有兩處核心優(yōu)化：將策略網(wǎng)絡(luò)（計算下子的概率）和值網(wǎng)絡(luò)（計算勝率）這兩個神經(jīng)網(wǎng)絡(luò)結(jié)合，其實在第一篇 AlphaGo的論文中，這兩種網(wǎng)絡(luò)已經(jīng)使用了類似的架構(gòu)。另外，引入了深度殘差網(wǎng)絡(luò)（Deep Residual Network），比起之前的多層神經(jīng)網(wǎng)絡(luò)效果更好。 Deepmind 的歷程 這不是 Deepmind第一次在《自然》上發(fā)論文，他們還在Nature上發(fā)表過《利用深度神經(jīng)網(wǎng)絡(luò)和搜索樹成為圍棋大師》和《使用深度強化學(xué)習(xí)達到人類游戲玩家水平》（論文鏈接：http:///wRDs）以及《使用神經(jīng)網(wǎng)絡(luò)和動態(tài)外存的混合計算模型》三篇論文，Deepmind在Nature Neuroscience上也發(fā)過多篇論文。 我們可以從中一窺 Deepmind的思路，他們尋找人類還沒有理解原理的游戲，游戲比起現(xiàn)實世界的問題要簡單很多。然后他們選擇了兩條路，一條道路是優(yōu)化算法，另外一條道路是讓機器不受人類先入為主經(jīng)驗的影響。 這兩條路交匯的終點，是那個真正能夠超越人的AI。 結(jié)語 這是AlphaGo 的終曲，也是一個全新的開始，相關(guān)技術(shù)將被用于造福人類，幫助科學(xué)家認識蛋白質(zhì)折疊，制造出治療疑難雜癥的藥物，開發(fā)新材料，以制造以出更好的產(chǎn)品。? 點擊下方視頻，聽聽論文第一作者/通訊作者David Silver談這篇論文 視頻由DeepMind提供，中英文字幕由Nature上海辦公室制作 |
|
|
