2017年10月18日，業(yè)界非常期待的AlphagGo新論文終于在《自然》上發(fā)表了。Deepmind開發(fā)了一個(gè)名為AlphaGo Zero的新版本，它只用一個(gè)策略與價(jià)值合體的神經(jīng)網(wǎng)絡(luò)下棋，從隨機(jī)走子開始自我對弈學(xué)習(xí)，完全不需要人類棋譜。新的強(qiáng)化學(xué)習(xí)策略極為高效，只用3天，AlphaGo Zero就以100:0完全擊敗了2016年3月轟動世界的AlphaGo Lee。經(jīng)過21天的學(xué)習(xí)，它達(dá)到了Master的實(shí)力（而Master在2017年5月3:0勝人類第一柯潔）。

40天后，它能以90%的勝率戰(zhàn)勝M(fèi)aster，成為目前最強(qiáng)的圍棋程序。而且AlphaGo Zero的計(jì)算過程中直接由神經(jīng)網(wǎng)絡(luò)給出葉子節(jié)點(diǎn)勝率，不需要快速走子至終局，計(jì)算資源大大節(jié)省，只需要4個(gè)TPU就行（AlphaGo Lee要48個(gè)）。

從Goratings棋力等級分上看，AlphaGo Zero其實(shí)和Master還能比較，只多個(gè)300多分。這相當(dāng)于論文發(fā)表當(dāng)天，人類第一柯潔九段的3667分與第38名的人氣主播孟泰齡六段3425分的分差，兩人肯定實(shí)力有差距，但也還有得下。論文公布了AlphaGo Zero的83局棋譜，其中與Master下的有20局，Master在第11局還勝了一局。

AlphaGo新版本從零開始訓(xùn)練成功，這個(gè)結(jié)果大大出乎了我的預(yù)料，相信也讓業(yè)界不少人感到震驚。我本來是預(yù)期看到Master的算法解密，為什么它能碾壓人類高手。AlphaGo退役讓人以為Deepmind不研究圍棋了，剩下任務(wù)是把Master版本的算法細(xì)節(jié)在《自然》公布出來，騰訊的絕藝等AI就可以找到開發(fā)方向突破目前的實(shí)力瓶頸了。

本來5月的烏鎮(zhèn)圍棋大會上說，6月新論文就能出來了，開發(fā)者們可以參考了。至于從零知識開始學(xué)習(xí)，是個(gè)有趣的想法，2016年3月人機(jī)大戰(zhàn)勝李世石后就有這樣的風(fēng)聲，人們期待這個(gè)“山洞中左右互搏”的版本出來，與人類的下法是不是很不相同，如開局是不是會占天元？但是后來一直好像沒進(jìn)展，烏鎮(zhèn)也沒有提。

好幾個(gè)月了，新論文一直沒出來。絕藝明顯進(jìn)入發(fā)展瓶頸，總是偶而會輸給人，還輸給了DeepZenGo與CGI。各個(gè)借鑒AlphaGo的AI都迫切需要Deepmind介紹新的思路與細(xì)節(jié)。到8月跑出來一篇AlphaGo打星際爭霸的論文，從零知識開始學(xué)，學(xué)人類錄像打，兩種辦法都不太行。

這時(shí)我認(rèn)為讓AlphaGo從零知識開始學(xué)可能不太成功，會陷入局部陷阱，人類棋譜能提供一個(gè)“高起點(diǎn)”，高水平AI還是需要人類的“第一推動”。

實(shí)際是Deepmind團(tuán)隊(duì)認(rèn)為，僅僅寫Master對于《自然》級別的文章不夠震憾。新的論文標(biāo)題是 “Mastering the Game of Go without Human Knowledge”，這個(gè)主題升華就足夠了。而Master用人類棋譜訓(xùn)練了初始的策略網(wǎng)絡(luò)，人類知識還是有影響，雖然后來自學(xué)習(xí)提升后人類影響很小了。對于不懂圍棋或者對算法細(xì)節(jié)不關(guān)心的人，Master相比AlphaGo Lee無非是棋力更強(qiáng)一些，戰(zhàn)勝的柯潔與李世石都是頂級高手沒本質(zhì)區(qū)別，Master的創(chuàng)新性也需要懂圍棋才能明白。

AlphaGo Zero是真正的從零開始訓(xùn)練，整個(gè)學(xué)習(xí)過程與人類完全沒有關(guān)系，全是自己學(xué)，這個(gè)哲學(xué)意義還是很大的。過程中與人或者其它版本下，只是驗(yàn)證棋力不是學(xué)招。

二．真正的算法突破是Master版本實(shí)現(xiàn)的

可以認(rèn)為，在技術(shù)上從AlphaGo Lee進(jìn)步到Master是比較難的，需要真正的變革，神經(jīng)網(wǎng)絡(luò)架構(gòu)需要大變，強(qiáng)化學(xué)習(xí)過程也要取得突破。絕藝、DeepZenGo等AI開發(fā)就一直卡在這個(gè)階段，突破不了AlphaGo Lee的水平，總是出bug偶爾輸給人，離Master差距很大。

但如果Master的開發(fā)成功了，再去試AlphaGo Zero就是順理成章的事。如果它能訓(xùn)練成功，應(yīng)該是比較快的事，實(shí)際不到半年頂級論文就出來了，回頭看是個(gè)自然的進(jìn)展。Deepmind團(tuán)隊(duì)在五月后應(yīng)該是看到了成功的希望，于是繼續(xù)開發(fā)出了AlphaGo Zero，新論文雖然推遲了，但再次震驚了業(yè)界。

也可以看出，2016年Deepmind《自然》論文描述的強(qiáng)化學(xué)習(xí)過程，整個(gè)訓(xùn)練流水線比較復(fù)雜，要訓(xùn)練好幾種神經(jīng)網(wǎng)絡(luò)的系數(shù)，進(jìn)化出一個(gè)新版本需要幾個(gè)星期。用這個(gè)訓(xùn)練流水線，從零開始強(qiáng)化學(xué)習(xí)，應(yīng)該是意義不大，所以一直沒有進(jìn)展。

但是Master的自學(xué)習(xí)過程取得了重大突破，之前從人類棋譜開始訓(xùn)練2個(gè)月的水平，改進(jìn)后只要一星期就行了，學(xué)習(xí)效率，以及能夠達(dá)到的實(shí)力上限都有了很大進(jìn)展。以此為基礎(chǔ)，再把從零開始引進(jìn)來，就能取得重大突破。所以Deepmind真正的技術(shù)突破，應(yīng)該是開發(fā)Master時(shí)取得的。AlphaGo Zero是Master技術(shù)成果的延續(xù)，但看上去哲學(xué)與社會意義更重大。

Master與AlphaGo Zero的成功，是機(jī)器強(qiáng)化學(xué)習(xí)算法取得巨大發(fā)展的成果與證明。訓(xùn)練需要的局?jǐn)?shù)少了，490萬局就實(shí)現(xiàn)了AlphaGo Lee的水平。而絕藝到2017年3月就已經(jīng)自我對弈了30億局，實(shí)力一直卡著沒有重大進(jìn)步，主要應(yīng)該是強(qiáng)化學(xué)習(xí)技術(shù)上有差距。

我在2017年1月9日寫的《AlphaGo升級成Master后的算法框架分析》文中進(jìn)行了猜測：

從實(shí)戰(zhàn)表現(xiàn)反推，Master的價(jià)值網(wǎng)絡(luò)質(zhì)量肯定已經(jīng)突破了臨界點(diǎn)，帶來了極大的好處，思考時(shí)間大幅減少，搜索深度廣度增加，戰(zhàn)斗力上升。AlphaGo團(tuán)隊(duì)新的prototype，架構(gòu)上可能更簡單了，需要的CPU數(shù)目也減少了，更接近國際象棋的搜索框架，而不是以MCTS為基礎(chǔ)的復(fù)雜框架。比起國際象棋AI復(fù)雜的人工精心編寫的局面評估函數(shù)，AlphaGo的價(jià)值網(wǎng)絡(luò)完全由機(jī)器學(xué)習(xí)生成，編碼任務(wù)更為簡單。

理論上來說，如果價(jià)值網(wǎng)絡(luò)的估值足夠精確，可以將葉子節(jié)點(diǎn)價(jià)值網(wǎng)絡(luò)的權(quán)重上升為1.0，就等于在搜索框架中完全去除了MCTS模塊，和傳統(tǒng)搜索算法完全一樣了。這時(shí)的圍棋AI將從理論上完全戰(zhàn)勝人，因?yàn)槿四茏龅臋C(jī)器都能做，而且還做得更好更快。而圍棋AI的發(fā)展過程可以簡略為兩個(gè)階段。第一階段局面估值函數(shù)能力極弱，被逼引入MCTS以及它的天生弱點(diǎn)。第二階段價(jià)值網(wǎng)絡(luò)取得突破，再次將MCTS從搜索框架逐漸去除返樸歸真，回歸傳統(tǒng)搜索算法。

從新論文的介紹來看， 這個(gè)猜測完全得到了證實(shí)。Master和AlphaGo Zero的架構(gòu)確實(shí)更簡單了，只需要4個(gè)TPU。AlphaGo Zero到葉子節(jié)點(diǎn)就完全不用rollout下完數(shù)子了，直接用價(jià)值網(wǎng)絡(luò)（已經(jīng)與策略網(wǎng)絡(luò)合并）給出勝率，就等于是“價(jià)值網(wǎng)絡(luò)的權(quán)重上升為1.0”。Master有沒有rollout沒有明確說，從實(shí)戰(zhàn)表現(xiàn)看應(yīng)該是取消了。

當(dāng)然新論文中還是將搜索框架稱為“MCTS”，因?yàn)橛须S機(jī)試各分支，但這不是新東西，和傳統(tǒng)搜索差異不算大。對圍棋來說，2006年引入MCTS算法真正的獨(dú)特之處是從葉子節(jié)點(diǎn)走完數(shù)子，代替難以實(shí)現(xiàn)的評估函數(shù)。

這種瘋狂的海量終局模擬更像是絕望之下的權(quán)宜之計(jì)，也把機(jī)器弄得很疲憊。但是Master與AlphaGo Zero都成功訓(xùn)練出了極為犀利的價(jià)值網(wǎng)絡(luò)，從而又再次將rollout取消。價(jià)值網(wǎng)絡(luò)的高效剪枝，讓Master與AlphaGo Zero的判斷極為精確，從而算得更為深遠(yuǎn)戰(zhàn)斗力極為強(qiáng)大。這個(gè)價(jià)值網(wǎng)絡(luò)怎么訓(xùn)練出來，就是現(xiàn)在Deepmind的獨(dú)門絕技?？梢哉f，新論文最有價(jià)值的就是這個(gè)部分。

從Master開始，AlphaGo的網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)該就有大變了。到AlphaGo Zero，將價(jià)值與策略網(wǎng)絡(luò)合為一個(gè)，這并不奇怪。因?yàn)榈谝黄撐闹?，就明確說價(jià)值與策略網(wǎng)絡(luò)的架構(gòu)是完全一樣的，只是系數(shù)不同。那么二者共用一個(gè)網(wǎng)絡(luò)也不奇怪，前面盤面特征表述應(yīng)該是一樣的，等需要不同的輸出時(shí)再分出不同的系數(shù)。Master網(wǎng)絡(luò)結(jié)構(gòu)大變之后，也許Deepmind發(fā)現(xiàn)，許多盤面特征都可以訓(xùn)練出來，所以就簡單將盤面輸入簡化成黑白。

AlphaGo Zero的強(qiáng)化學(xué)習(xí)過程，應(yīng)該與Master差不多，都是成功地跳出了陷阱，不斷提升到超乎人類想象的程度。Master從研發(fā)上來說，像一個(gè)探路先鋒，證明了這條路是可以跑通的，能把等級分增加1000分。而AlphaGo Zero，像是一個(gè)更為精減的過程，本質(zhì)是與Master類似的。

新論文中的AlphaGo Zero確實(shí)顯得架構(gòu)優(yōu)美。只需要一個(gè)網(wǎng)絡(luò)，既告訴機(jī)器可以下哪，也能給出局面的勝率。盤面輸入就是黑白，也不需要任何人類知識。強(qiáng)化學(xué)習(xí)就是兩招，搜索的結(jié)果好于神經(jīng)網(wǎng)絡(luò)直覺想下的點(diǎn)，可以用于策略選點(diǎn)的訓(xùn)練，一盤下完的結(jié)果回頭用于修正勝率，都很自然。但是為了實(shí)現(xiàn)這個(gè)優(yōu)美結(jié)果，需要勇敢的探索。一開始的AlphaGo并沒有這么優(yōu)美，路跑通了，才想到原來可以做得更簡單。

本文再提出一個(gè)猜測：現(xiàn)在的絕藝、DeepZenGo等AI實(shí)力接近AlphaGo Lee了，但都經(jīng)常出現(xiàn)死活bug，會怎么出和人類對手的實(shí)力關(guān)系不大，并不是對手等級分高的它就容易出bug，基本是自己莫明其妙送死。這個(gè)bug的原因是rollout模塊帶來的，因?yàn)閞ollout策略是人類棋譜訓(xùn)練出來的，也可能有人工加代碼打補(bǔ)丁。

它的目的是快速下完終局，但如果牽涉到死活，這種快速下完就不太可靠了，活的下死，死的殺活。但是，怎么實(shí)現(xiàn)不出錯(cuò)的rollout，這非常困難，應(yīng)該是不可能完成的任務(wù)。Master和AlphaGo Zero的辦法，是取消這個(gè)不可靠的rollout，直接讓神經(jīng)網(wǎng)絡(luò)給出結(jié)果。如果神經(jīng)網(wǎng)絡(luò)給出的勝率結(jié)果有問題，那就靠訓(xùn)練來解決。這樣糾錯(cuò)，強(qiáng)過程序員去排查rollout代碼里出了什么錯(cuò)。

三．機(jī)器與人類對圍棋的適應(yīng)能力差異很大

Master和AlphaGo Zero的突破說明，在極高的水平上，需要考慮出現(xiàn)瓶頸的原因。人類棋譜能夠提供一個(gè)“高起點(diǎn)”，但是機(jī)器從零開始訓(xùn)練一兩天也就追上了，帶來的“先發(fā)優(yōu)勢”沒多少。而人類棋譜中顯然有一些“有害成分”，這可能將AI的學(xué)習(xí)過程帶歪。如果AI不能找到消除這些“人類病毒”的辦法，那訓(xùn)練就會陷入瓶頸。如下圖，零知識強(qiáng)化學(xué)習(xí)的版本實(shí)力迅速追上有人類棋譜幫忙的。

從圍棋本身看，它的規(guī)則幾乎是所有游戲中最優(yōu)美最簡單的。規(guī)則就是兩句話可以了，氣盡提子，禁全同（打劫的由來）。甚至貼目這樣的勝負(fù)規(guī)則都是人類強(qiáng)加的，圍棋游戲不需要?jiǎng)儇?fù)規(guī)則就可以成為一個(gè)定義明確的游戲。打磚塊這樣的Atari游戲就是這樣，目標(biāo)就是打到更高的分。圍棋游戲的目標(biāo)可以是占更多的地，結(jié)果可能是黑183、184、185子這樣，不需要明確說出黑勝黑負(fù)。黑白博弈，會有一個(gè)上帝知道的“均衡”結(jié)果，猜測可能是黑184子白177子，或者黑184.5白176.5（有眼雙活）。

這是一個(gè)優(yōu)美的博弈問題，是掌握了強(qiáng)化學(xué)習(xí)方法的AI最喜歡的游戲，規(guī)則這么簡單，太容易了。最終強(qiáng)大的圍棋AI，應(yīng)該是自然的，開發(fā)只依靠原始規(guī)則，不需要其它的信息了。AlphaGo Zero應(yīng)該已經(jīng)接近了這個(gè)目標(biāo)，除了中國規(guī)則強(qiáng)加的7.5目的貼目。也許以后可以讓AlphaGo不考慮貼目了，黑白都直接優(yōu)化占地的多少，不再以勝率為目標(biāo)，說不定能訓(xùn)練出一個(gè)更優(yōu)秀的AI。如優(yōu)勢時(shí)不會退讓了，劣勢時(shí)也不自殺。這次Master與AlphaGo Zero一些局終局輸定時(shí)就表現(xiàn)得很搞笑，有時(shí)搖頭劫死棋打個(gè)沒完。

AlphaGo Zero的棋力提升過程非常流暢，說明圍棋精致的規(guī)則形成的數(shù)學(xué)空間很優(yōu)美，神經(jīng)網(wǎng)絡(luò)很快就能抓住圍棋空間的特征，表現(xiàn)得非常適應(yīng)。而這種神經(jīng)網(wǎng)絡(luò)與圍棋空間的適應(yīng)性，是之前人們沒有想到的，因?yàn)槿俗约焊杏X很困難，沒料到神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)起來美滋滋。

AlphaGo Zero能從零開始訓(xùn)練成功，也是因?yàn)閲宓慕^對客觀性。圍棋規(guī)則如此自洽，不需要人類干預(yù)，就能很容易地自我對弈出結(jié)果，直接解決了“學(xué)習(xí)樣本”這個(gè)大問題。人工智能機(jī)器學(xué)習(xí)碰上的很大問題就是需要海量樣本，而實(shí)際生活中有時(shí)只有少量樣本，有時(shí)需要人工標(biāo)注很麻煩。

圍棋的對局天然在那了，AlphaGo Zero的任務(wù)就是找到合適的學(xué)習(xí)方法，沒有樣本的問題。而人類既無法自我產(chǎn)生海量對局，也無法像AI那樣目標(biāo)明確地快速改進(jìn)自己的腦神經(jīng)，單位時(shí)間學(xué)習(xí)效率被AI完全碾壓。所以圍棋是更適合AI去學(xué)習(xí)的游戲。人類的學(xué)習(xí)方法也許還是適合人的，但AI學(xué)習(xí)方法更強(qiáng)。

對于圍棋這么自然而且絕對客觀的游戲，消除人類的影響應(yīng)該從哲學(xué)上來說是有深度的想法。從圍棋規(guī)則來看，日韓規(guī)則對AI簡直是不可理解，甚至無法定義，未來肯定會消亡。而人類的棋譜是客觀的，但對棋譜的解讀是主觀的。主觀的東西就可能出錯(cuò)，這要非常小心。

對于人類的知識體系也是如此?？陀^世界的運(yùn)行是與人無關(guān)的，人對客觀世界的解讀就是主觀的，很可能帶入了錯(cuò)誤的東西。所以，有時(shí)需要返回到客觀世界進(jìn)行本原觀察，而不是在錯(cuò)誤的知識體系上進(jìn)入所謂的“推理與搜索”?？陀^上不成立，什么都完了。經(jīng)濟(jì)學(xué)道理寫得再雄辯，實(shí)踐中失敗了就不行。

柯潔在微博上的感慨

另一方面，也不要片面強(qiáng)調(diào)說人類知識沒用，還不如零知識。實(shí)際上Master與AlphaGo Zero的實(shí)距從算法層面看，并不太大。二者300分的等級差距，也許不是Master開始學(xué)了人類棋譜帶來的，出許是更精細(xì)的網(wǎng)絡(luò)架構(gòu)、訓(xùn)練過程的小細(xì)節(jié)之類的影響。Master其實(shí)找到辦法跳出了人類知識的陷阱。

因此，可以說人類知識可能存在問題，但不要說學(xué)了人類知識就沒法到高境界。意識到舊知識體系的問題，作出突破就可以了。而且人類沒法和機(jī)器比，不可能真從零知識開始瘋狂自己下，沒那個(gè)體力?，F(xiàn)實(shí)的選擇只有學(xué)習(xí)前輩的經(jīng)驗(yàn)。也許AlphaGo的意義是說，要有一個(gè)知識體系，這個(gè)知識體系可以是自己學(xué)出來并檢驗(yàn)的，也可以是Master那樣借鑒了別人的，但要接受實(shí)踐檢驗(yàn)，也要敢于懷疑突破成見。

四．AlphaGo Zero的實(shí)戰(zhàn)表現(xiàn)

雖然AlphaGo Zero完全與人類棋譜無關(guān)了，但是也許會讓棋手們欣慰的是，它下得其實(shí)很像人。訓(xùn)練沒幾個(gè)小時(shí)就下得非常像人了，也是從角上開始，這方面的判斷和人是一致的。

而且它甚至比Master還要像人類棋手，顯得比較正義。Master不知道為什么喜歡出怪異的手段，棋譜極為難懂，對人類而言更為痛苦，打又打不過，看也看不懂。AlphaGo Zero對Master的棋譜結(jié)果是19:1，感覺上AlphaGo Zero戰(zhàn)勝M(fèi)aster的招數(shù)不是以怪制怪，而是用正招去應(yīng)付，然后Master的強(qiáng)招碰上正義的力量就失敗了。而人類對Master應(yīng)錯(cuò)了，就輸了。也許是因?yàn)?，Master訓(xùn)練到后來，為了提高勝率走上了劍走偏鋒的路線，出怪招打敗之前的版本，而同一版本的黑白是同等實(shí)力，以怪對怪正好實(shí)力相當(dāng)，維持了半目勝負(fù)。碰上AlphaGo Zero就失去了這種平衡，被正義的招數(shù)鎮(zhèn)壓。

圖為AlphaGo Zero執(zhí)黑對Master。Master氣勢洶洶54位飛，要吃掉黑三子。在Master與人類棋手的計(jì)算中，以及解說的這盤棋的絕藝看來（騰訊圍棋經(jīng)常有絕藝配合人類棋手解說棋局的節(jié)目），黑這三子應(yīng)該是被吃了，要考慮棄子。但是AlphaGo Zero不這么認(rèn)為。

黑棋AlphaGo Zero在左下角將白棋做成了打劫殺。遭此打擊，Master就此陷入被動。這說明Master的計(jì)算也不一定毫無破綻，只是碰上算得更深的才被抓住。這個(gè)計(jì)算手?jǐn)?shù)很長，出現(xiàn)錯(cuò)誤也可以理解。這也說明Master以及AlphaGo Zero從算法原理看，都可能會被抓住計(jì)算錯(cuò)誤，仍然有進(jìn)步空間。一度我被Master的極限對局嚇住了，以為圍棋的終極奧義可能就是這種看不懂的死掐。

AlphaGo Zero執(zhí)白對Master。這是雙方對局的常見局面，白AlphaGo Zero撈足了實(shí)地，Master的中央模樣像紙糊的一樣被打破，敗下陣來。

AlphaGo Zero自戰(zhàn)。勝率落后的黑用129的手筋撐住了局勢，但最后還是勝率越來越低失敗了。

應(yīng)該說AlphaGo Zero的棋譜還是較為自然的，雖然中盤顯然很復(fù)雜，但不像Master那樣完全看不懂心生恐懼。對于人類棋手來說，AlphaGo Zero會更為親切，它就像一個(gè)最高水平的人類棋手，下得是意圖可以說清楚的棋，只是永遠(yuǎn)正確，不像人類低手這錯(cuò)那錯(cuò)。而Master的自戰(zhàn)譜就顯得不可理解，蠻不講理，動不動就搞事，撐得很滿步步驚心搞極限對局，人類看得很暈。

圍棋AI應(yīng)該還是在發(fā)展過程中，自我對弈容易顯得較死勁，實(shí)力有差距就會顯得一方瀟灑自然。圍棋的狀態(tài)空間還很大，應(yīng)該還能有更厲害的版本一級級發(fā)展出來，就像國際象棋AI仍然在不斷進(jìn)步。

當(dāng)然對Master以及AlphaGo Zero的棋譜，需要人類高手們配合AI的后臺數(shù)據(jù)來解讀。AlphaGo Zero這個(gè)不需要人類知識的AI棋手，再次給人類提供了不同風(fēng)格的棋譜，讓棋壇越來越精彩。而且Deepmind的這篇論文提供了優(yōu)美簡潔的開發(fā)方法，更容易模仿成功，會有越來越多高水平的AI取得突破。