【原】AI開(kāi)發(fā)者大會(huì)：2020年7月3日09:50--10:10唐杰《人工智能的下一個(gè)十年》

處女座的程序猿 2021-09-28

展開(kāi)全文

AI開(kāi)發(fā)者大會(huì)：2020年7月3日09:50--10:10唐杰《人工智能的下一個(gè)十年》

導(dǎo)讀：人工智能的第三次浪潮中，超越深度學(xué)習(xí)—ML和DL需要結(jié)合符號(hào)AI；自監(jiān)督學(xué)習(xí)將會(huì)大放異彩。

Next10——認(rèn)知與推理：大數(shù)據(jù)+知識(shí)+智能，從感知到認(rèn)知；認(rèn)知圖譜，算法與認(rèn)知科學(xué)的結(jié)合。知識(shí)圖譜，認(rèn)知推理，邏輯表達(dá)。
Next30——意識(shí)(讓計(jì)算機(jī)具有自我意識(shí))：認(rèn)知與推理+記憶+自我意識(shí)。有監(jiān)督、無(wú)監(jiān)督、強(qiáng)化、注意力，結(jié)合fine-tune可以實(shí)現(xiàn)全局工作理論。

博主評(píng)論：說(shuō)實(shí)話，正好與博主前段時(shí)間被采訪時(shí)所說(shuō)的看法不謀而合，博主當(dāng)時(shí)在展望AI未來(lái)的時(shí)候，就特別強(qiáng)調(diào)了無(wú)監(jiān)督學(xué)習(xí)的重要性，以及在走向強(qiáng)AI的路上，非常有必要對(duì)AI+意識(shí)進(jìn)行深度探討與分析。

2020年7月3日09:50--10:10唐杰《人工智能的下一個(gè)十年》

人工智能的第三次浪潮

AI趨勢(shì)：從感知到認(rèn)知

回顧機(jī)器學(xué)習(xí)

2018年的預(yù)訓(xùn)練模型BERT

自監(jiān)督學(xué)習(xí)——MoCo

無(wú)需標(biāo)記樣本，即可學(xué)習(xí)圖形表示
Momentum contrastive learning
效果甚至超過(guò)有監(jiān)督學(xué)習(xí)結(jié)果

第三代人工智能

第一代——符號(hào)Al：符號(hào)模型／規(guī)則模型／感知機(jī)。
第二代——感知智能：大數(shù)據(jù)驅(qū)動(dòng)的統(tǒng)計(jì)學(xué)習(xí)方法初步實(shí)現(xiàn) 了針對(duì)文本、圖像、語(yǔ)音等的感知與識(shí)別。
第三代——認(rèn)知智能：張拔院士2016年提出第三代人工智能雛形，DARPA 2018 年發(fā)布Al Next計(jì)劃。核心思路是推進(jìn)統(tǒng)計(jì)與知識(shí)推理融合的計(jì)算；與腦認(rèn)知的融合。
目前急需的是高質(zhì)量超大規(guī)模知識(shí)圖譜（Al的基礎(chǔ)設(shè)施）以及對(duì)知識(shí)的理解能力（面向認(rèn)知的深度學(xué)習(xí)算法)。

超越深度學(xué)習(xí)—ML和DL需要結(jié)合符號(hào)AI

算法是核心，計(jì)算機(jī)、數(shù)據(jù)是基礎(chǔ)

認(rèn)知圖譜(Cognitive Graph) 一知識(shí)圖譜，認(rèn)知推理，邏輯表達(dá)?

認(rèn)知圖譜：算法與認(rèn)知的結(jié)合

Question:? Who is the director?of the 2003 film which has scenes in it filmed at the Quality Cafe in Los Angeles??
提問(wèn)：誰(shuí)是這部2003年的電影的導(dǎo)演，這部電影的場(chǎng)景是在洛杉磯的Quality咖啡館拍攝的?

和認(rèn)知科學(xué)的結(jié)合

認(rèn)知圖譜的推理模型

System 1: 一Knowledge expansion by association in text?when reading?
System 2: 一Decision making w/ all the information?

認(rèn)知圖譜的推理模型：System1 VS System2

認(rèn)知圖譜的推理效果

挑戰(zhàn)與未來(lái)

Next10——認(rèn)知與推理：大數(shù)據(jù)+知識(shí)(Knowledge)+智能(Intelligence)

Next30——意識(shí)(讓計(jì)算機(jī)具有自我意識(shí))：認(rèn)知與推理(Reasoning)+記憶(Memory)+自我意識(shí)(Consciousness)

意識(shí)：全局工作理論——GWT

以下觀點(diǎn)來(lái)自Carnegie Mellon University的圖靈獎(jiǎng)得主Manuel?Blum的分析

有意識(shí)學(xué)習(xí)：所謂的有意識(shí)學(xué)習(xí)，就是有目標(biāo)的機(jī)器學(xué)習(xí)，給定數(shù)據(jù)，訓(xùn)練一個(gè)模型，通過(guò)模型進(jìn)行分類（決策），所以有意識(shí)學(xué)習(xí)輸出是一個(gè)短期記憶模型，但這個(gè)短期記憶模型比較簡(jiǎn)單：數(shù)據(jù)有限、無(wú)背景知識(shí)。
無(wú)意識(shí)學(xué)習(xí)：所以無(wú)意識(shí)就對(duì)應(yīng)著長(zhǎng)期記憶模型，長(zhǎng)期記憶模型有點(diǎn)類似半監(jiān)督或者無(wú)監(jiān)督學(xué) 習(xí)模型，或者當(dāng)下比較流行的預(yù)訓(xùn)練和自監(jiān)督學(xué)習(xí)；無(wú)意識(shí)處理對(duì)應(yīng)多種長(zhǎng)期記憶，所以無(wú)意識(shí)可以考慮多個(gè)不同的處理器，這些處理器之間可以有鏈接，也可以沒(méi)有，很多時(shí)候是并行處理，
但針對(duì)特定任務(wù)，比如有意識(shí)思考某個(gè)問(wèn)題的時(shí)候，形成特定連接，包括無(wú)意識(shí)處理器（無(wú)監(jiān)督模型）和有意識(shí)處理器（有監(jiān)督模型）之間的連接，這里可以考慮成fine-tune。當(dāng)然連接權(quán)重可以通過(guò)外界反饋強(qiáng)化學(xué)習(xí)來(lái)實(shí)現(xiàn)。無(wú)意識(shí)處理器之間的連接以及和有意識(shí)處理器之間的連接可以類比為注意力機(jī)制。
最后值得注意的是長(zhǎng)期記憶的構(gòu)造和實(shí)現(xiàn)，人腦記憶保存的是模型圖，而不是概念圖。每個(gè)長(zhǎng)期記憶都可能是一個(gè)模型，可以生成樣本，具體學(xué)習(xí)方法，可以想象一下是一個(gè)層次聚類。通過(guò)這樣就可以用有監(jiān)督、無(wú)監(jiān)督、強(qiáng)化、注意力、fine-tune來(lái)實(shí)現(xiàn)GWT模型。