 導(dǎo)語盡管人工智能技術(shù)突飛猛進(jìn)，但截止目前，人類和動(dòng)物在解決許多問題（尤其是復(fù)雜系統(tǒng)問題）的能力明顯優(yōu)于人工系統(tǒng)。理解人類等高等動(dòng)物解決問題的能力，并在人工智能系統(tǒng)中模擬實(shí)現(xiàn)，是重要的科學(xué)命題。近日發(fā)表在Nature Machine Intelligence雜志的長(zhǎng)文綜述，概述了層次化問題解決的認(rèn)知基礎(chǔ)，以及如何利用強(qiáng)化學(xué)習(xí)技術(shù)實(shí)現(xiàn)抽象和預(yù)測(cè)能力，并提出小樣本學(xué)習(xí)是關(guān)鍵。該綜述能夠指導(dǎo)啟發(fā)未來應(yīng)對(duì)復(fù)雜系統(tǒng)問題的機(jī)器學(xué)習(xí)架構(gòu)設(shè)計(jì)。本文是對(duì)該綜述的全文翻譯。 研究領(lǐng)域：強(qiáng)化學(xué)習(xí)，多主體建模，認(rèn)知復(fù)雜性，小樣本學(xué)習(xí)，認(rèn)知神經(jīng)科學(xué) 
1. 摘要認(rèn)知心理學(xué)和相關(guān)學(xué)科指出，生物智能體解決復(fù)雜問題的能力的發(fā)展，依賴于層級(jí)化的認(rèn)知機(jī)制。層級(jí)化強(qiáng)化學(xué)習(xí)（hierarchical reinforcement learning）是一種很有前景的計(jì)算方法，最終可能會(huì)在人工智能和機(jī)器人身上產(chǎn)生類似的解決問題的能力。然而，至今為止，許多人類和非人類動(dòng)物的解決問題的能力顯然優(yōu)于人工系統(tǒng)。在本文中，我們提出了將受生物啟發(fā)的層級(jí)化認(rèn)知機(jī)制整合起來的幾個(gè)步驟，來賦予人工智能體先進(jìn)的解決問題技能。我們首先回顧了認(rèn)知心理學(xué)的文獻(xiàn)，強(qiáng)調(diào)組合式抽象（ compositional abstraction）和預(yù)測(cè)處理（predictive processing）的重要性。然后，我們將所獲得的見解與當(dāng)代的層級(jí)化強(qiáng)化學(xué)習(xí)方法聯(lián)系起來。有趣的是，我們的研究結(jié)果表明，所識(shí)別的所有認(rèn)知機(jī)制，都已經(jīng)在不同的計(jì)算架構(gòu)中分別實(shí)施過了。這便引出了一個(gè)問題：為什么沒有一個(gè)統(tǒng)一的架構(gòu)去集成它們？對(duì)該問題的回答是本文最后一個(gè)貢獻(xiàn)。我們提供了一個(gè)新的綜合的視角，來說明形成這樣一個(gè)統(tǒng)一的結(jié)構(gòu)，需要解決的計(jì)算性挑戰(zhàn)。我們希望該綜述能夠引導(dǎo)受更復(fù)雜的認(rèn)知結(jié)構(gòu)啟發(fā)的層級(jí)化機(jī)器學(xué)習(xí)架構(gòu)。 人類和其它智慧動(dòng)物，能夠?qū)?fù)雜問題拆解為簡(jiǎn)單的、之前學(xué)過的子問題。這種層級(jí)化的方式，使他們能夠一次解決之前沒有遇到的問題，即，不需要任何試錯(cuò)。例如，圖1描述了烏鴉是如何采用3個(gè)有因果連接的步驟，解決了一個(gè)復(fù)雜的食物獲取難題的：它首先撿起一個(gè)棍子，用棍子獲得石頭，之后使用石頭觸發(fā)機(jī)關(guān)釋放食物[1]。許多類似的實(shí)驗(yàn)，證明了靈長(zhǎng)類動(dòng)物、章魚，當(dāng)然還有人類的類似能力[2,3]。人類和動(dòng)物認(rèn)知研究指出，層級(jí)化的學(xué)習(xí)和解決問題的能力，對(duì)建立解決復(fù)雜問題的能力至關(guān)重要[2,4,5]。這帶來了一個(gè)問題：我們?nèi)绾文軌蜃屩悄荏w和機(jī)器人，也具有類似的層級(jí)化學(xué)習(xí)和零樣本問題解決（zero-shot problem-solving）的能力呢？  圖1. 一只新喀里多尼亞烏鴉解決了一個(gè)獲取食物的問題。 a. 首先，這只烏鴉撿起一根棍子。b.c. 然后，它通過棍子從一個(gè)管道里拖出一塊石頭。d.e. 最后，它用石頭來觸發(fā)機(jī)關(guān)，獲取食物。盡管烏鴉以前從未解決過這種問題，但在短暫的考察后，它立即能夠解決這個(gè)問題。這樣的零樣本問題解決，是層級(jí)化的、有目標(biāo)的計(jì)劃的一個(gè)典型例子，它涉及到心理模擬，并依賴于適合任務(wù)的、組合式的抽象。作者的推測(cè)是，因?yàn)闉貘f一次只能看到立方體設(shè)置的一個(gè)側(cè)面，它必須提前計(jì)劃[1]。因此，烏鴉必須在心智上模擬未來的步驟。其中還涉及遷移學(xué)習(xí)：遷移并結(jié)合以前學(xué)到的類似子問題的解決方案，來解決新問題。成功的計(jì)劃和轉(zhuǎn)移學(xué)習(xí)只有在抽象的組合式的心理表征發(fā)展起來后才可能發(fā)生，例如，這些表征可以編碼工具操作選項(xiàng)。然而，為了學(xué)習(xí)不同的工具操作，烏鴉依靠其內(nèi)在動(dòng)機(jī)，通過玩耍和試驗(yàn)工具來獲得知識(shí)。圖片由R. Gruber和A. Taylor提供[1]。 我們?cè)噲D在強(qiáng)化學(xué)習(xí)的框架下，解決該問題[6-8]。多項(xiàng)研究表明，強(qiáng)化學(xué)習(xí)在生物上和認(rèn)知上是可行的。很多現(xiàn)有的基于強(qiáng)化學(xué)習(xí)的方法，試圖進(jìn)行零樣本問題解決和遷移學(xué)習(xí)[8,9]，但目前，這只適用于與之前的任務(wù)相同或者相近的任務(wù)[10]，或是在簡(jiǎn)單生成域中的任務(wù)[11,12]，例如在二維的網(wǎng)格狀世界中。類似圖1中烏鴉的，在連續(xù)空間中的解決問題的行為，還沒有在任何人工系統(tǒng)中實(shí)現(xiàn)。鑒于層級(jí)化強(qiáng)化學(xué)習(xí)所占比例較小，我們認(rèn)為，對(duì)層級(jí)化學(xué)習(xí)和問題解決的關(guān)注是不夠的。 在該綜述中，我們通過三步來彌補(bǔ)上述的差距。首先，我們?cè)u(píng)估了層級(jí)化決策的神經(jīng)認(rèn)知基礎(chǔ)，并識(shí)別出使高級(jí)問題解決能力得以實(shí)現(xiàn)的重要機(jī)制。之后，我們揭示了當(dāng)前的層級(jí)強(qiáng)化學(xué)習(xí)方法的整合問題，指出大部分已被實(shí)現(xiàn)的生物學(xué)機(jī)制，都是以孤立而非整合的方式實(shí)現(xiàn)的。第三，我們指出整合關(guān)鍵方法和機(jī)制的步驟，以克服上述整合問題，發(fā)展一個(gè)統(tǒng)一的認(rèn)知框架。 2. 神經(jīng)認(rèn)知基礎(chǔ)下文指出：生物體的復(fù)雜的問題解決技能，可以用幾種特定的認(rèn)知能力清晰描述，這些能力依賴于幾項(xiàng)核心認(rèn)知機(jī)制，包括抽象（abstraction），內(nèi)在動(dòng)機(jī)（intrinsic motivation）和心智模擬（mental simulation）。圖2展示了這些機(jī)制如何在前向或逆向的模型（作為神經(jīng)活動(dòng)的先決條件）中發(fā)展出來。  圖2. 生物體解決問題的先決條件、機(jī)制和特征。 前向和反向模型是高階認(rèn)知機(jī)制和能力的先決條件。組成式抽象，允許智能體將問題分解為可復(fù)用的子結(jié)構(gòu)，例如，學(xué)習(xí)到物體的哪一部分是易于抓取的，比如玻璃杯的杯頸。在前向模型的幫助下，內(nèi)在動(dòng)機(jī)可以驅(qū)動(dòng)智能體，以一種搜索信息的、認(rèn)知的方式與環(huán)境互動(dòng)。例如，內(nèi)在動(dòng)機(jī)引導(dǎo)智能體與杯子互動(dòng)，來了解杯子特征。心智模擬使得探索可能的狀態(tài)-行為順序成為可能，例如，想象伸向玻璃杯的手的位置將如何演變。在上述機(jī)制的幫助下，智能體能夠經(jīng)由層級(jí)化的、組合式的目標(biāo)驅(qū)動(dòng)規(guī)劃，靈活地達(dá)到想要的狀態(tài)，例如，喝水的規(guī)劃是先正確地抓取杯子，再妥當(dāng)?shù)匾苿?dòng)杯子。組合式抽象使得智能體能夠進(jìn)行遷移學(xué)習(xí)，例如，像抓取其它有柄的物體（如茶壺）一樣，去適當(dāng)?shù)刈ト”i，從而使小樣本問題解決成為可能。 3. 認(rèn)知能力我們關(guān)注認(rèn)知能力的以下特征和性質(zhì)： 小樣本問題解決（Few-shot problem-solving）：小樣本問題解決，指在少于5次的嘗試下，解決未知問題的能力。而零樣本問題解決，是小樣本問題解決的一種特殊情況，指不需要額外嘗試即可解決新問題。例如，在之前解決過相關(guān)問題，但沒有經(jīng)過進(jìn)一步訓(xùn)練的情況下，烏鴉可以使用木棍作為工具，解決全新的食物獲取問題（圖1）。我們指出，要這樣解決問題，有兩種能力至關(guān)重要：遷移學(xué)習(xí)（transfer learning）和決策時(shí)規(guī)劃（decision-time planning）。 遷移學(xué)習(xí)：遷移學(xué)習(xí)允許生物體將之前任務(wù)的解法，遷移到一個(gè)新的但相似的任務(wù)上，從而使小樣本的問題解決成為可能。這顯著地減少了，有時(shí)甚至消除了解決一個(gè)新問題所需要嘗試的次數(shù)。 這樣的類比推理，通常被認(rèn)為是人類認(rèn)知的關(guān)鍵性基石。例如，認(rèn)知學(xué)理論指出，人類是通過類比其它領(lǐng)域的知識(shí)，來理解機(jī)械系統(tǒng)的[13]。除此之外，教育理論指出，人類在明確地接受識(shí)別不同問題間相似性的訓(xùn)練后，遷移學(xué)習(xí)能力會(huì)提高[14]。然而，盡管人類能夠熟練地用類比來解決問題，要發(fā)現(xiàn)新的類比，卻好像很困難。這便是功能固化（functional fixedness）的現(xiàn)象：人類在解決問題時(shí)，傾向于以習(xí)以為常的方法去使用物體[15]。 目標(biāo)導(dǎo)向的規(guī)劃（goal-directed planning）。行為傳統(tǒng)上分為兩類，刺激驅(qū)動(dòng)的習(xí)慣性行為，以及目標(biāo)導(dǎo)向的，規(guī)劃好的行為[16-18]。習(xí)慣性行為指高度自動(dòng)化的，計(jì)算高效的，主要從之前的強(qiáng)化過程中學(xué)到的應(yīng)激性控制[17]。對(duì)該方式的一種批判來自Tolman[19,20]，他指出，大鼠在迷宮中探索一次后，能夠更快地找到食物，即使最初的探索行為沒有帶來獎(jiǎng)勵(lì)。這一結(jié)果指出，大鼠對(duì)迷宮構(gòu)建了一個(gè)表征（representation）或認(rèn)知地圖（cognitive map），使得它們能夠在獎(jiǎng)勵(lì)（reward）出現(xiàn)時(shí)，規(guī)劃它們的行為。在理解目標(biāo)導(dǎo)向的規(guī)劃方面，人工智能和認(rèn)知科學(xué)的進(jìn)展相互影響。對(duì)于動(dòng)作控制，一個(gè)有影響力的模型是TOTE（test–operate–test–exit，測(cè)試-動(dòng)作-測(cè)試-離開）[21]，其中，動(dòng)作是基于一個(gè)迭代的、層級(jí)化的反饋循環(huán)進(jìn)行選擇的。在這里，想要的的預(yù)期狀態(tài)與當(dāng)前的感覺狀態(tài)進(jìn)行比較，來選擇下一個(gè)動(dòng)作。類似TOTE，很多最新的理論，都將規(guī)劃看作一種層級(jí)化的過程，涉及不同層級(jí)的抽象[5,22,23]。 但規(guī)劃過程考慮了什么樣的信息呢？動(dòng)作生成的觀念運(yùn)動(dòng)（Ideomotor）理論指出，預(yù)期動(dòng)作的效果決定了動(dòng)作的選擇。與此相對(duì)應(yīng)，事件編碼（event encoding）理論[25]指出，一個(gè)動(dòng)作的表征和它們的效果存儲(chǔ)在共享的編碼中，對(duì)動(dòng)作-效果的預(yù)期，可以直接激活相關(guān)動(dòng)作的編碼。上述動(dòng)作產(chǎn)生和效果預(yù)測(cè)之間的聯(lián)系，還受到了一系列實(shí)驗(yàn)證據(jù)的支持[25-27]。 4. 遷移學(xué)習(xí)和規(guī)劃的認(rèn)知機(jī)制前文討論了遷移學(xué)習(xí)和規(guī)劃能力是如何讓智能體具有小樣本問題解決能力的。但是什么使遷移學(xué)習(xí)和規(guī)劃能力成為可能的？我們的調(diào)研指出，遷移學(xué)習(xí)和規(guī)劃所需的三種認(rèn)知機(jī)制是感覺運(yùn)動(dòng)抽象（sensorimotor abstraction），內(nèi)在動(dòng)機(jī)（intrinsic motivation）和心智模擬（mental simulation）。 感知運(yùn)動(dòng)的抽象。根據(jù)具身認(rèn)知（embodied cognition）理論，抽象的心智概念，可以從基于身體的，感覺運(yùn)動(dòng)的，與環(huán)境的互動(dòng)經(jīng)驗(yàn)中推出[2,28-30]。這里，我們區(qū)分動(dòng)作抽象（action abstraction）和狀態(tài)抽象（state abstraction）。動(dòng)作抽象指對(duì)一串在時(shí)間上延展的原始動(dòng)作、選項(xiàng)或運(yùn)動(dòng)基元的抽象[32,33]。例如，運(yùn)輸一個(gè)物體，就是動(dòng)作抽象，因?yàn)樗艘贿B串更基本的動(dòng)作，例如伸手去夠物體和抬起物體（圖3）。 狀態(tài)抽象指對(duì)（部分）環(huán)境的精簡(jiǎn)編碼，其中不相關(guān)的細(xì)節(jié)被去除。由此，狀態(tài)抽象會(huì)將一個(gè)場(chǎng)景分出和任務(wù)相關(guān)的部分，例如可抓性，容器性或空心度。例如，酒杯和茶杯都是容器，也都是可以抓取的（圖3）。同時(shí)，容器意味著它是中空的，這說明這種抽象有層級(jí)化和組合式（compositional）的特征。認(rèn)知語言學(xué)和相關(guān)研究表明，抽象能力受益于組合性（compositionality）[34]。正式地說，如果一個(gè)表述，是由其子表述，和決定子表述組合語義的規(guī)則所組成，我們就稱該表述具有組合性。思維語言假說（the language of thought theory）[35]將來自語言的組合性原理，用到抽象的心智表征上，聲稱思想也具有組合性。例如，人類可以從語言描述中，將他們已知的成分進(jìn)行組合，輕易地想象之前沒有見過的影像[36]，即使是通過很奇怪的描述——想想一條騎著滑板的粉紅色的龍會(huì)是什么樣子。  圖3. 組合式的動(dòng)作抽象與狀態(tài)抽象。 a. 動(dòng)作抽象描述了一連串原始動(dòng)作。b. 狀態(tài)抽象編碼了狀態(tài)空間的特定性質(zhì)。c. 抽象的組合性，使得它們能夠通過將抽象的定義（伸手可抓取的目標(biāo)）實(shí)例化（instantiate）為具體的物體（茶壺），來被通用地應(yīng)用。 對(duì)抽象心智表征進(jìn)行編碼，是由局部符號(hào)，還是分布式地，還存在爭(zhēng)議[37]，但在這兩種情況下，都有證據(jù)表明存在組合可泛化能力。例如，Haynes[38]指出，位于腹外側(cè)前額葉皮層的神經(jīng)編碼，記錄著復(fù)合行為的規(guī)則，可以被分解為編碼各自組成部分的神經(jīng)編碼。 對(duì)于感覺動(dòng)作抽象（sensorimotor abstractions），組合規(guī)則（rules of composition）需要由我們的心智靈活推斷，從而根據(jù)我們的世界知識(shí)，形成合理的環(huán)境配置[29,39,40]。這種常識(shí)組合性，使抽象能夠以有意義的方式應(yīng)用。對(duì)一個(gè)抽象成分（例如抓取的目標(biāo)）的填入被限制在使用的對(duì)象上（例如，可抓取的物體，如茶壺），如圖3。從算法視角來看。常識(shí)組合性有巨大的計(jì)算優(yōu)勢(shì)：抽象，例如對(duì)抓取行為的編碼，如果能夠使用于多種場(chǎng)景（例如不同的抓取目標(biāo)），會(huì)更加經(jīng)濟(jì)。常識(shí)組合性，通過在表征間建立映射，本質(zhì)上簡(jiǎn)化了對(duì)類比的識(shí)別，這一優(yōu)勢(shì)在關(guān)于創(chuàng)造力的概念整合（concept blending）的認(rèn)知理論中，也廣為人知[41,42]。 內(nèi)在動(dòng)機(jī)。通過設(shè)立內(nèi)在動(dòng)機(jī)的目標(biāo)，內(nèi)在動(dòng)機(jī)影響著目標(biāo)導(dǎo)向的歸因。從認(rèn)知發(fā)展的角度來看，內(nèi)在動(dòng)機(jī)這個(gè)術(shù)語，是用來描述'搜索新事物……探索，學(xué)習(xí)的內(nèi)在傾向’的[43]。這里的內(nèi)在，和外在價(jià)值相對(duì)，指的不是滿足需求或者規(guī)避不想見到的結(jié)果。內(nèi)在動(dòng)機(jī)引出了一般的探索行為，好奇心和嬉戲。好奇心指以收集信息為目標(biāo)的探索行為[45-47]。好奇心和嬉戲密切相關(guān)，后者是以提高技能為導(dǎo)向的新奇互動(dòng)。在多種智慧動(dòng)物中，都可以觀察到嬉戲行為，例如狗和烏鴉[48]。 心智模擬。心智模擬，指的是智能體能夠在多種表征層面，預(yù)測(cè)環(huán)境動(dòng)態(tài)的能力。例如，人們認(rèn)為，動(dòng)作想象使得運(yùn)動(dòng)員能夠通過在內(nèi)心模擬這個(gè)運(yùn)動(dòng)動(dòng)作，來改進(jìn)對(duì)高難度身體動(dòng)作（例如倒翻轉(zhuǎn)）的執(zhí)行[49]，工程師在開發(fā)機(jī)械系統(tǒng)時(shí)，也依賴心智模擬[13]。多項(xiàng)研究指出，心智模擬在更高級(jí)的推理過程中，也發(fā)揮作用，例如，[50-52]報(bào)告了心智模擬是如何在因果概念層面，改善對(duì)未來行為的規(guī)劃的。 作為功能前提的前向和反向模型 感覺動(dòng)作抽象，內(nèi)在動(dòng)機(jī)和心智模擬，都是需要一個(gè)合適神經(jīng)功能基礎(chǔ)的復(fù)雜機(jī)制。我們提出，這一關(guān)鍵基礎(chǔ)可以由前向和反向模型構(gòu)成[24]。前向模型預(yù)測(cè)一個(gè)動(dòng)作如何影響世界，而反向模型決定要實(shí)行一個(gè)目標(biāo)所需要執(zhí)行的動(dòng)作。 心智模擬的前向和反向模型。為了進(jìn)行心智模擬，一個(gè)智能體需要一個(gè)前向模型，來模擬環(huán)境是如何演化的（可能取決于智能體的動(dòng)作）。然而，對(duì)所有可能動(dòng)作的可能結(jié)果進(jìn)行預(yù)測(cè)，很快變成計(jì)算上不可行的。因此，動(dòng)作選擇要求建立，從當(dāng)前狀態(tài)和想要的內(nèi)在心智狀態(tài)，到可能動(dòng)作的，更直接的連接。這可通過行為策略的反向模型實(shí)現(xiàn)，該模型生成完成當(dāng)前目標(biāo)的可能動(dòng)作。 內(nèi)在動(dòng)機(jī)的前向和反向模型。內(nèi)在動(dòng)機(jī)也需要正向和反向模型。例如，對(duì)內(nèi)在的前向?qū)W習(xí)過程模型，被證明是將好奇心建模為一種內(nèi)在獎(jiǎng)勵(lì)的有效方式[47,53,54]。Friston等人指出，當(dāng)使用前向模型進(jìn)行主動(dòng)推斷時(shí)，會(huì)涌現(xiàn)出內(nèi)在驅(qū)動(dòng)的行為[44,45]，這意味著，推斷動(dòng)作的過程最小化了預(yù)期自由能。作者認(rèn)為，主動(dòng)推斷會(huì)導(dǎo)致認(rèn)知探索，在這個(gè)過程中，智能體采取不同的行為，以減少其前向預(yù)測(cè)的不確定性[45,46]。然而，主動(dòng)推斷（active inference）和自由能原理（free energy principle），都被批判為過于寬泛，而且可證偽性存疑[57]。 抽象和奠基的前向和反向模型。多種認(rèn)知理論，包括預(yù)測(cè)性編碼（predictive coding）[58]，自由能原理[59]和貝葉斯大腦假說（Bayesian brain hypothesis）[60]，都將大腦看成一種生成機(jī)制，會(huì)持續(xù)地試圖匹配輸入的感官信號(hào)和對(duì)它們的概率預(yù)測(cè)[61]。在這一框架下，在多個(gè)處理層級(jí)上，預(yù)測(cè)交互式地雙向進(jìn)行：自上而下的信息，為預(yù)測(cè)感官信號(hào)提供了額外的信息；而自下而上的錯(cuò)誤信息，被用來修正高層級(jí)的預(yù)測(cè)[62]。Butz[29]提出，這樣的層級(jí)化處理涌現(xiàn)出了抽象的、組合式的、更高層級(jí)的編碼，例如“容器”的概念，這使得對(duì)低層特征的預(yù)測(cè)（例如該容器所包含的物體的封閉和運(yùn)輸）成為可能。時(shí)間分隔理論（Event segmentation theory）[63]，使得前向預(yù)測(cè)在學(xué)習(xí)感覺運(yùn)動(dòng)抽象過程中的作用更為明顯。根據(jù)這一理論，瞬時(shí)性的預(yù)測(cè)誤差，被用來將連續(xù)的體驗(yàn)流分割為概念事件編碼。 5. 計(jì)算實(shí)現(xiàn)層級(jí)化強(qiáng)化學(xué)習(xí)的一系列機(jī)制在計(jì)算機(jī)中的實(shí)現(xiàn)（如圖4）并不像在生物體中整合得那么好。下文將概述當(dāng)前最先進(jìn)的，與神經(jīng)認(rèn)知基礎(chǔ)相關(guān)的計(jì)算實(shí)現(xiàn)方式。  圖4. 通用的層級(jí)化問題解決架構(gòu)。 每一個(gè)層級(jí)的抽象，都分別有獨(dú)立的策略πi。大部分現(xiàn)有的層級(jí)化強(qiáng)化學(xué)習(xí)關(guān)注兩個(gè)層級(jí)，高層級(jí)的動(dòng)作是一個(gè)動(dòng)作a1基元或子目標(biāo)，而低層級(jí)的動(dòng)作a0是直接影響環(huán)境的運(yùn)動(dòng)指令。 遷移學(xué)習(xí)和少樣本規(guī)劃能力 我們對(duì)神經(jīng)認(rèn)知基礎(chǔ)的調(diào)研指出，遷移學(xué)習(xí)和規(guī)劃，是小樣本問題解決的兩項(xiàng)基礎(chǔ)認(rèn)知能力。但我們?nèi)绾卧谟?jì)算上對(duì)它們進(jìn)行建模呢？ 遷移學(xué)習(xí)。遷移學(xué)習(xí)對(duì)于層級(jí)化架構(gòu)來說是很自然的，因?yàn)樵摷軜?gòu)可以復(fù)用高層級(jí)的通用技能，將它們用在不同的低層級(jí)任務(wù)上，反之亦然。因此，在當(dāng)前遷移學(xué)習(xí)中，有很大比例的方法是建立在復(fù)用低層級(jí)策略上的[64-72]。研究者不僅考慮了在不同任務(wù)間的，也考慮了在不同機(jī)器人，即不同形態(tài)的智能體之間的遷移學(xué)習(xí)[65,73,74]。 規(guī)劃。規(guī)劃可分為決策時(shí)規(guī)劃和后臺(tái)規(guī)劃（background planning）[8,75]。決策時(shí)規(guī)劃指搜索一系列動(dòng)作，來決定為達(dá)成特定目標(biāo)，接下來要采取什么動(dòng)作。搜索是通過用特定領(lǐng)域的動(dòng)力學(xué)的內(nèi)部預(yù)測(cè)模型模擬動(dòng)作來實(shí)現(xiàn)的。決策時(shí)規(guī)劃，使零樣本問題解決成為可能，因?yàn)橹悄荏w只在內(nèi)部預(yù)測(cè)模型指出動(dòng)作能達(dá)成預(yù)期目標(biāo)時(shí)，才會(huì)執(zhí)行規(guī)劃的動(dòng)作。后臺(tái)規(guī)劃，是Sutton[76]提出的一種基于模型的強(qiáng)化學(xué)習(xí)方法。它使用前向模型模擬動(dòng)作，來訓(xùn)練得到特定策略。這可以提高采樣效率，但還不足以使小樣本的問題解決成為可能。 在傳統(tǒng)的人工智能中，層級(jí)化的決策時(shí)規(guī)劃是一個(gè)廣為人知的范式[77]，但將它和層級(jí)化的強(qiáng)化學(xué)習(xí)結(jié)合的方法卻很罕見。有些方法會(huì)通過基于動(dòng)作規(guī)劃的高層級(jí)的決策，和基于強(qiáng)化學(xué)習(xí)的低層級(jí)的動(dòng)作控制，將動(dòng)作規(guī)劃和強(qiáng)化學(xué)習(xí)結(jié)合[10,70,78,79]。這些方法證明，決策時(shí)規(guī)劃對(duì)于離散狀態(tài)-動(dòng)作空間中的高層級(jí)推斷格外有用。 遷移學(xué)習(xí)和規(guī)劃背后的機(jī)制 我們對(duì)遷移學(xué)習(xí)和規(guī)劃背后認(rèn)知原理的總結(jié)，揭示了生物智能體的學(xué)習(xí)和問題解決能力的三個(gè)重要的認(rèn)知機(jī)制：感覺運(yùn)動(dòng)的組合式抽象（compositional sensorimotor abstraction），內(nèi)在動(dòng)機(jī)和心智模擬。 感覺動(dòng)作的組合抽象及奠基。層級(jí)化強(qiáng)化學(xué)習(xí)，具有時(shí)序和表征兩個(gè)維度，還能區(qū)分動(dòng)作和狀態(tài)的抽象。對(duì)動(dòng)作的時(shí)序抽象，將復(fù)雜的問題分解為層級(jí)化的簡(jiǎn)單問題。影響力最大的表征動(dòng)作抽象方法，是基于行為基元[65,68,70,80-84]構(gòu)建的（圖5a），其中包括了選擇、次級(jí)策略和原子化的高層級(jí)技能。這些行為基元位于一個(gè)抽象的表征空間中，例如，在一個(gè)充滿動(dòng)作標(biāo)簽和索引的離散有限空間中。而較為新進(jìn)的高層級(jí)動(dòng)作表征，則是由低層級(jí)的狀態(tài)空間中的子目標(biāo)所構(gòu)成[10,74,85-90]（圖5b）。在這里，智能體通過完成一系列子目標(biāo)，來實(shí)現(xiàn)最后的目標(biāo)。  圖5. 不同類型的動(dòng)作抽象。 a. 基于動(dòng)作基元，智能體通過選擇一系列高層級(jí)的動(dòng)作，而不具體指定每一個(gè)動(dòng)作會(huì)導(dǎo)致的中間狀態(tài)，來決定達(dá)到最終狀態(tài)的路徑。b. 存在子目標(biāo)時(shí)，智能體指定要達(dá)成最終狀態(tài)的子目標(biāo)，而不指定達(dá)成子目標(biāo)的動(dòng)作。 當(dāng)前很多基于視覺輸入的強(qiáng)化學(xué)習(xí)方式，都使用卷積神經(jīng)網(wǎng)絡(luò)來提供一個(gè)相對(duì)通用的抽象，其中所有層級(jí)都使用同一個(gè)抽象的視覺特征圖[11,12,67,91-94]。該策略的問題是它忽略了“不同層級(jí)的推斷需要不同層級(jí)的抽象”這一事實(shí)：例如，對(duì)于運(yùn)輸任務(wù)，物體的具體形狀和重量，只與低層級(jí)的運(yùn)動(dòng)控制有關(guān)。更高層級(jí)的規(guī)劃層，只需要抽象事實(shí)，諸如某個(gè)物體是否是可抓的或可運(yùn)輸?shù)?。因此，表征狀態(tài)的抽象，應(yīng)該和其要使用的層級(jí)相一致。我們將這樣的抽象稱為適合推斷的抽象。當(dāng)前的強(qiáng)化學(xué)習(xí)方法，對(duì)解決該問題已有不小樣本，但大多基于手動(dòng)定義的抽象函數(shù)[10,79,82,95]。也有一些特例，其狀態(tài)抽象是自動(dòng)從層級(jí)化強(qiáng)化學(xué)習(xí)中導(dǎo)出的，例如通過聚類[85,96]，經(jīng)由特征表征[97]或通過因子化（factorization）[98]。 認(rèn)知科學(xué)還指出，組合性是抽象表征的一個(gè)重要特征。例如，一個(gè)符號(hào)化的組合式的動(dòng)作表征抓（杯子），允許在“抓取”這一動(dòng)作和“杯子”這一物體間進(jìn)行調(diào)控。對(duì)于分布式數(shù)值化的表征，例如向量，組合性也是適用的。例如，如果v1可以由其它向量，例如v2和v3，組合而成，而且存在一個(gè)以解釋組合規(guī)則的向量操作，例如v1=v2·v3，那么可以說這個(gè)向量v1具有組合性。 認(rèn)知科學(xué)中，有充足的證據(jù)表明，組合性可以改善遷移學(xué)習(xí)[98]。考慮到遷移學(xué)習(xí)的確依賴問題之間的相似性，這些證據(jù)從計(jì)算角度來說是有道理的。其它由認(rèn)知科學(xué)啟發(fā)的計(jì)算方法，例如概念整合（concept binding）[41]，進(jìn)一步證明了，較少的可能類比映射提高了可遷移性。此外，Jiang等人的研究工作[67]提供了實(shí)證數(shù)據(jù)，指出具有組合式的表征能提升學(xué)習(xí)的遷移能力。他們使用自然語言，這一內(nèi)在組合式表征，來描述層級(jí)話強(qiáng)化學(xué)習(xí)中的高層級(jí)動(dòng)作，并表明，自然語言的表征，相比非組合式的表征，提升了遷移學(xué)習(xí)的效果。 內(nèi)在動(dòng)機(jī)。使強(qiáng)化學(xué)習(xí)具有穩(wěn)定性的一個(gè)有效方法，是采用內(nèi)在動(dòng)機(jī)，即，在稀疏的外在的獎(jiǎng)勵(lì)之外，增加與領(lǐng)域無關(guān)的內(nèi)在獎(jiǎng)勵(lì)。有內(nèi)在動(dòng)機(jī)的層級(jí)化強(qiáng)化學(xué)習(xí)最常見的方法是：在子任務(wù)/目標(biāo)完成時(shí)提供內(nèi)在獎(jiǎng)勵(lì)[10,11,69,78,82,99-103]。 其它提供內(nèi)在動(dòng)機(jī)的方式，包括識(shí)別一組具有多樣性[64,99,104]或可預(yù)測(cè)性[70]的基本行為，以及識(shí)別適合于重組高層任務(wù)的基元。 另一種在非層級(jí)的強(qiáng)化學(xué)習(xí)中常見的內(nèi)在獎(jiǎng)勵(lì)模型，是基于驚訝度（surprise）和好奇心[47,54,105,106]。在這些方法中，驚訝度通常被建模為前向預(yù)測(cè)誤差的一個(gè)函數(shù)，而好奇心則是通過，在智能體遇到驚訝度時(shí)提供內(nèi)在的獎(jiǎng)勵(lì)，來實(shí)現(xiàn)的。然而，在層級(jí)化的設(shè)定下，只有[89,99,107]采用了驚訝度，證明了好奇心能顯著提升學(xué)習(xí)的性能。層級(jí)化的好奇心可能可以帶來協(xié)同（synergy），因?yàn)橐粋€(gè)有好奇心的高抽象層級(jí)，會(huì)自動(dòng)地為低層級(jí)生成學(xué)習(xí)任務(wù)。例如，它會(huì)產(chǎn)生難度適中的子任務(wù)，供低層級(jí)去完成。困難之處在于找到難度恰好的條件，并找到探索（explorative）和利用（exploitative）這兩個(gè)子任務(wù)之間的適當(dāng)平衡。 心智模擬。心智模擬使智能體能夠預(yù)測(cè)自身以及他者動(dòng)作的影響。因此，這是使智能體具有事先規(guī)劃能力的一項(xiàng)關(guān)鍵機(jī)制。心智模擬的計(jì)算實(shí)現(xiàn)方式包括基于模型的強(qiáng)化學(xué)習(xí)[76]，動(dòng)作規(guī)劃[77]以及兩者的綜合[10,108]。盡管有認(rèn)知科學(xué)的證據(jù)表明心智模擬發(fā)生在多個(gè)表征層面[2,36]，層級(jí)化的心智模擬方法卻是很少的。只有少數(shù)整合了強(qiáng)化學(xué)習(xí)規(guī)劃的層級(jí)化方法是建立在心智模擬上的[10,70,78,79,103,109]，不過，這些模型也僅在較高規(guī)劃層應(yīng)用了心智模擬。Wu等人的工作[110]是一個(gè)例外，它在低層級(jí)使用了心智模擬，決定哪些子策略將被執(zhí)行。另一個(gè)例外是[111]，它在多個(gè)任務(wù)層都使用了心智模擬來進(jìn)行規(guī)劃。然而，我們還不知道有什么方式是進(jìn)行了層級(jí)化的后臺(tái)規(guī)劃的，即，通過在多層執(zhí)行的動(dòng)作，來訓(xùn)練一個(gè)層級(jí)化的策略。高層級(jí)的后臺(tái)規(guī)劃缺失的一個(gè)可能的理由是，它需要穩(wěn)定的低層級(jí)的表征，而對(duì)相應(yīng)的穩(wěn)定標(biāo)準(zhǔn)的建模是很難的。 感覺運(yùn)動(dòng)抽象：內(nèi)在動(dòng)機(jī)和心智模擬的先決條件 基于策略或反向模型的強(qiáng)化學(xué)習(xí)，會(huì)預(yù)測(cè)一個(gè)在當(dāng)前狀態(tài)下，能夠最大化獎(jiǎng)勵(lì)或完成特定目標(biāo)的動(dòng)作。與之相對(duì)的，前向模型會(huì)根據(jù)當(dāng)前狀態(tài)，和要采取的一系列動(dòng)作，預(yù)測(cè)未來的狀態(tài)。文獻(xiàn)調(diào)研指出，大部分層級(jí)化強(qiáng)化學(xué)習(xí)，在高層級(jí)和低層級(jí)，都使用了反向模型。而有的方法只在低層級(jí)使用反向模型[10,70,78,79,103,109]，在高層級(jí)決策時(shí)則使用決策時(shí)規(guī)劃。文獻(xiàn)綜述還指出，有數(shù)項(xiàng)機(jī)制對(duì)于遷移學(xué)習(xí)，規(guī)劃和小樣本問題解決，是必要的，或至少是能有利的，而這些機(jī)制需要前向模型。有一些非層級(jí)的強(qiáng)化學(xué)習(xí)，使用了前向模型進(jìn)行感覺運(yùn)動(dòng)抽象[105,112]。這是通過自監(jiān)督的方式達(dá)成的：前向預(yù)測(cè)是在一個(gè)潛在的抽象空間中學(xué)習(xí)的。但目前，這一機(jī)制，還沒有用層級(jí)化的方式采用過。 對(duì)于采用好奇心作為內(nèi)在動(dòng)機(jī)的模型，前向模型也是有用的，例如，對(duì)智能體在驚訝出現(xiàn)時(shí)給與獎(jiǎng)勵(lì)，其中驚訝度是預(yù)測(cè)誤差的函數(shù)[55]。好奇心已被證明，能緩解強(qiáng)化學(xué)習(xí)中的稀疏獎(jiǎng)勵(lì)問題[89,105]。但除了[89,107]等少許例外，很少有使用層級(jí)化前向模型，來產(chǎn)生層級(jí)化好奇心的嘗試。 6. 討論和展望當(dāng)前的層級(jí)化強(qiáng)化學(xué)習(xí)策略，有如下缺點(diǎn)。這些缺點(diǎn)是由融合不同機(jī)制過程中的特定挑戰(zhàn)產(chǎn)生的（圖6）。在此，我們通過具體的算法建議來解決這些缺點(diǎn)。  圖6. 層級(jí)化強(qiáng)化學(xué)習(xí)的缺陷，挑戰(zhàn)和建議。 計(jì)算實(shí)現(xiàn)部分概述了當(dāng)代層級(jí)化強(qiáng)化學(xué)習(xí)方法的幾個(gè)缺點(diǎn)。我們認(rèn)為，這些缺點(diǎn)至少來自四個(gè)核心挑戰(zhàn)，并就有助于解決這些挑戰(zhàn)的關(guān)鍵方法提出了三點(diǎn)建議。 層級(jí)化強(qiáng)化學(xué)習(xí)架構(gòu)的缺點(diǎn)和挑戰(zhàn) 以下各節(jié)指出了當(dāng)前方法的主要挑戰(zhàn)。 層級(jí)化的心智模擬，需要穩(wěn)定的層級(jí)表征和精確的預(yù)測(cè)。大部分當(dāng)前的小樣本解決問題，都依賴遷移學(xué)習(xí)，但它們既沒有利用決策時(shí)的規(guī)劃，也沒有考慮后臺(tái)規(guī)劃來發(fā)揮層級(jí)化心智模擬的好處。盡管很多非層級(jí)化的方法指出，心智模擬可以提升采樣效率[113,114]，但僅有一項(xiàng)研究在多層級(jí)上使用了層級(jí)化的心智模擬[111]。這一缺失的主要原因，是高層級(jí)的前向模型在開始訓(xùn)練時(shí)，低層級(jí)的策略應(yīng)該已經(jīng)收斂。該問題在無模型的強(qiáng)化學(xué)習(xí)中已被解決[64]，但對(duì)于預(yù)測(cè)性的前向模型，還沒有相關(guān)研究。 內(nèi)在動(dòng)機(jī)需要模型具有精確的不確定性應(yīng)對(duì)能力。在50篇調(diào)研的文獻(xiàn)中，只有9篇應(yīng)用了多樣性和好奇心，這個(gè)比例是偏低的。神經(jīng)認(rèn)知基礎(chǔ)一節(jié)介紹了大量的認(rèn)知證據(jù)，表明這些機(jī)制對(duì)生物智能體的智能行為至關(guān)重要[56]。 這一缺陷的一個(gè)潛在原因，是基于預(yù)測(cè)的內(nèi)在動(dòng)機(jī)模型，受到了當(dāng)前前向計(jì)算模型中，對(duì)不確定性過于簡(jiǎn)單的處理的影響，這是帶噪聲的觀察或混沌不可預(yù)測(cè)的動(dòng)態(tài)系統(tǒng)要面對(duì)的問題。例如，通過最大化前向模型的預(yù)測(cè)誤差，Roder等人[89]實(shí)現(xiàn)了一種好奇心驅(qū)動(dòng)的內(nèi)在動(dòng)機(jī)。但這會(huì)導(dǎo)致智能體遇到所謂的“不清晰的電視問題”，即智能體總是試圖遇到不確定的觀察（例如電視總是顯示白噪音）。這會(huì)干擾學(xué)到層級(jí)化表征的問題，因?yàn)槿绻麑?duì)這些表征的學(xué)習(xí)還沒有收斂，就無法應(yīng)對(duì)高層級(jí)表征的不確定性。 組合性要求精準(zhǔn)的角色填充（role-filler）表征。只有少數(shù)的層級(jí)化強(qiáng)化學(xué)習(xí)研究考慮了組合性，例如使用自然語言，對(duì)動(dòng)作進(jìn)行表征[67]，或基于符號(hào)邏輯進(jìn)行組合式表征[11]。由于組成式表征通常建立在變值表征的基礎(chǔ)上，因此，要緩解這一缺陷，需要首先在更基礎(chǔ)的層面上對(duì)這些表征進(jìn)行研究。圖神經(jīng)網(wǎng)絡(luò)（graph neural networks），一種對(duì)實(shí)體和其間的關(guān)系通過一個(gè)圖中的節(jié)點(diǎn)（node）和連邊（edge）編碼的神經(jīng)網(wǎng)絡(luò)模型，是實(shí)現(xiàn)組合式表征的可行方式。當(dāng)提供了背后的圖結(jié)構(gòu)后，圖神經(jīng)網(wǎng)絡(luò)能夠更好地泛化，并支持關(guān)系推理[115]。然而，從數(shù)據(jù)中發(fā)現(xiàn)一個(gè)合適的抽象圖，仍然是一個(gè)開放問題。 適配推斷的狀態(tài)抽象需要強(qiáng)學(xué)習(xí)信號(hào)。最近的層級(jí)化強(qiáng)化學(xué)習(xí)方式[86,89]，對(duì)層級(jí)中的每一層，使用相同的狀態(tài)表征，然而，在認(rèn)知科學(xué)上，更可行的是讓不同的抽象層級(jí)，有該層級(jí)推斷所需要的抽象水平。例如，高層級(jí)的推斷，只需要知道物體是否能夠被抓取，而不必考慮物體的具體形狀。對(duì)于低層級(jí)的推斷，這樣的細(xì)節(jié)信息是必須的。有的強(qiáng)化學(xué)習(xí)方法，通過卷積自編碼器，從視覺數(shù)據(jù)中學(xué)習(xí)狀態(tài)抽象[114]。然而這樣的表征，是為了重現(xiàn)輸入的視覺特征最優(yōu)化的，而不是為決策最優(yōu)化的。此外，在近期基于視覺的架構(gòu)[11,12,67,91-94]中，強(qiáng)化學(xué)習(xí)智能體所有的層級(jí)，都接收相同的圖像嵌入。因此，這里的抽象并不是為推斷適配的。學(xué)習(xí)得到適配推斷信號(hào)的問題在于：與其它方法如監(jiān)督學(xué)習(xí)相比，強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)信號(hào)對(duì)學(xué)習(xí)過程的推動(dòng)作用相對(duì)較弱。 7. 展望和對(duì)上述挑戰(zhàn)的建議在下文中，我們概述了計(jì)算性關(guān)鍵方法如何有助于解決上述挑戰(zhàn)。 對(duì)體驗(yàn)的回溯式分析。層級(jí)化強(qiáng)化學(xué)習(xí)的一個(gè)核心問題，是只有在低層的學(xué)習(xí)過程已收斂之后，高層的表征才會(huì)出現(xiàn)[64]。我們想指出，對(duì)體驗(yàn)的回顧式分析，可以緩解該問題。通過后見（hindsight）來訓(xùn)練強(qiáng)化學(xué)習(xí)中的策略[86,116]，即將一個(gè)策略執(zhí)行后達(dá)到的世界狀態(tài)，當(dāng)成是想要的目標(biāo)狀態(tài)，已經(jīng)證明了上述論點(diǎn)。我們指出，后見學(xué)習(xí)（hindsight learning）是更為一般的對(duì)與經(jīng)驗(yàn)的回溯式分析的特殊形式。例如，可以在事后也學(xué)習(xí)層級(jí)化的前向模型，而不需要高級(jí)別層等待低級(jí)別層的收斂。我們?cè)O(shè)想，將還沒有完全訓(xùn)練好的低層，在過去錯(cuò)誤動(dòng)作的結(jié)果，重新看作想要的結(jié)果，能夠穩(wěn)定高層級(jí)的表征。這一技術(shù)能夠消除模型的偏差。 元不確定模型（Meta-uncentainty model）。在認(rèn)知模擬和內(nèi)在動(dòng)機(jī)中，預(yù)測(cè)誤差發(fā)揮了關(guān)鍵作用。在關(guān)于神經(jīng)認(rèn)知基礎(chǔ)的章節(jié)，我們探討了自由能原理，其中包含了兩個(gè)基于預(yù)測(cè)處理模型的看似矛盾的機(jī)制。在一方面，是主動(dòng)推斷[117]，試圖最小化長(zhǎng)期的驚訝度。這通過最小化前向模型的預(yù)測(cè)誤差實(shí)現(xiàn)。另一方面，還有主動(dòng)學(xué)習(xí)，它尋求信息增益的最大化。這可以通過不同的內(nèi)在獎(jiǎng)勵(lì)函數(shù)，使不確定性[118]或預(yù)測(cè)誤差[89]最大化來實(shí)現(xiàn)。Schwartenbeck等人[117]，通過建立預(yù)期的不確定性[119]，來解決這一矛盾，統(tǒng)一兩種機(jī)制。這樣，預(yù)期的和非預(yù)期的不確定性，就可以通過對(duì)不確定性的元分析來應(yīng)對(duì)。我們提議，對(duì)高的元不確定性進(jìn)行內(nèi)在獎(jiǎng)勵(lì)，能夠帶來探索行為，帶來短期較高但長(zhǎng)期可預(yù)期較低的元不確定性。此外，新獲得的對(duì)前向模型不確定性的確定性，能夠帶來更準(zhǔn)確的，能夠知曉自身局限的預(yù)測(cè)過程[120]。 雙向動(dòng)力學(xué)模型。雙向動(dòng)力學(xué)模型包括了前向及后向推斷的模型。我們認(rèn)為，這樣的組合，有利于層級(jí)化架構(gòu)中的表征抽象。這一猜想是基于Pathak等人[105]和Hafner等人[112]的工作的。他們結(jié)合前向和反向模型，通過自監(jiān)督學(xué)習(xí)，來產(chǎn)生隱藏表征的研究。。雙向模型在一個(gè)潛在的空間上運(yùn)行，由一個(gè)抽象函數(shù)生成。通過在隱藏層上，同時(shí)進(jìn)行前向和后向的預(yù)測(cè)，抽象函數(shù)具有了兩個(gè)重要的特征。一，潛空間具有降噪能力，因?yàn)橹挥袧撚^察的可預(yù)測(cè)部分決定了前向和后向預(yù)測(cè)。二，由于模型是自監(jiān)督的，因此提供了一個(gè)比相對(duì)較弱的獎(jiǎng)勵(lì)信號(hào)更穩(wěn)定的反饋信號(hào)。這緩解了預(yù)測(cè)誤差，并加強(qiáng)了整體的學(xué)習(xí)信號(hào)。 8. 總結(jié)該綜述對(duì)層級(jí)化問題解決的認(rèn)知基礎(chǔ)，及如何在當(dāng)前的層級(jí)化強(qiáng)化學(xué)習(xí)中實(shí)現(xiàn)這些機(jī)制，進(jìn)行了匯總。我們將小樣本的問題解決，看成是智能體的終極目標(biāo)，即智能體在盡可能少的嘗試次數(shù)下，學(xué)會(huì)因果性地解決有意義的問題。作為我們的的核心研究問題，我們呼吁那些計(jì)算上的先決條件和機(jī)制，使人工智能體的問題解決能力能達(dá)到智能動(dòng)物的水平。我們還指出結(jié)合不同機(jī)制時(shí)遇到的挑戰(zhàn)。 我們意識(shí)到，我們總結(jié)的認(rèn)知科學(xué)理論，通常是有爭(zhēng)議且矛盾的（在神經(jīng)認(rèn)知基礎(chǔ)一章）。然而我們的討論指出，特定理論的組合，能夠產(chǎn)生算法上的協(xié)同作用。換句話說，我們推斷，特定的機(jī)制如果對(duì)某一計(jì)算架構(gòu)有利，那么它對(duì)生物的神經(jīng)系統(tǒng)也有利，反之亦然。這樣認(rèn)知科學(xué)和人工智能可相互啟發(fā)，匯集成對(duì)兩個(gè)領(lǐng)域都有意義的間接，助益人工智能與人類的未來。
|
|
|
