新智元推薦1

鄧力率先提出將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)音識(shí)別，顯著提高了機(jī)器對(duì)語(yǔ)音的識(shí)別率，由此獲得2015年IEEE技術(shù)成就獎(jiǎng)。根據(jù)微軟亞洲研究院官網(wǎng)，在展望2016年深度學(xué)習(xí)領(lǐng)域會(huì)出現(xiàn)哪些關(guān)鍵性技術(shù)突破和進(jìn)展時(shí)，鄧力認(rèn)為基于深度學(xué)習(xí)的自然語(yǔ)言處理技術(shù)會(huì)繼續(xù)保持高速發(fā)展，而基于深度學(xué)習(xí)的注意力導(dǎo)向型序列學(xué)習(xí)技術(shù)將讓機(jī)器翻譯日益完善。

請(qǐng)?jiān)谛轮窃⑿殴娞?hào)，回復(fù) 0411 下載PPT全文（75頁(yè)）。

鄧力照片

標(biāo)題：人工智能中的深度學(xué)習(xí)——從機(jī)器感知到機(jī)器認(rèn)知

維基百科上對(duì)深度學(xué)習(xí)的定義

深度學(xué)習(xí)是一種經(jīng)典的機(jī)器學(xué)習(xí)算法，它

• 使用一種包含了許多層非線性處理過程的瀑布流；

• 是以數(shù)據(jù)來推動(dòng)的端對(duì)端最優(yōu)選擇為代表的機(jī)器學(xué)習(xí)領(lǐng)域的一部分；

• 學(xué)習(xí)多層次的樣本，并對(duì)高層概念抽象作出回應(yīng)。

維基百科對(duì)人工智能的定義

人工智能（AI）是機(jī)器或軟件展現(xiàn)出來的智能。在學(xué)術(shù)領(lǐng)域，它也指那些關(guān)于如何創(chuàng)造能夠體現(xiàn)智能行為的計(jì)算機(jī)或計(jì)算機(jī)軟件的研究。

通用人工智能（AGI）是一種從理論上能夠成功地處理所有人類可以處理的智能任務(wù)的機(jī)器智能。它是人工智能研究的首要目的，也是科幻小說作家和預(yù)言家們的重要主題。通用人工智能也被稱為“強(qiáng)人工智能”。

人工智能/通用人工智能與深度學(xué)習(xí)：主要理論

人工智能/通用人工智能 = 機(jī)器感知（語(yǔ)言、圖像、視頻、手勢(shì)、觸覺……） 機(jī)器認(rèn)知（自然語(yǔ)言、推理、關(guān)注、記憶/學(xué)習(xí)、知識(shí)、決策、行動(dòng)、互動(dòng)/對(duì)話……）

強(qiáng)人工智能：靈活、通用、萬能的人工之智能

深度學(xué)習(xí) 增強(qiáng)/無監(jiān)督學(xué)習(xí) = 人工智能/強(qiáng)人工智能

AlphaGo 如何運(yùn)用人工智能/強(qiáng)人工智能與深度學(xué)習(xí)

目錄

機(jī)器感知中的深度學(xué)習(xí)

• 語(yǔ)言

• 圖像

機(jī)器認(rèn)知中的深度學(xué)習(xí)

• 語(yǔ)義模型

• 自然語(yǔ)言

• 多模態(tài)

• 推理，關(guān)注，記憶（RAM）

• 知識(shí)呈現(xiàn)/管理/開發(fā)

• 最佳決策（通過深度強(qiáng)化學(xué)習(xí)）

深度學(xué)習(xí)和AI研究中的三大熱門領(lǐng)域及挑戰(zhàn)

深度學(xué)習(xí)研究：以神經(jīng)信息處理系統(tǒng)（NIPS）為中心

2010年到2012年，安卓在語(yǔ)音識(shí)別錯(cuò)誤率上取得的突破

全球語(yǔ)音行業(yè)中深度神經(jīng)網(wǎng)絡(luò)（DNN）的應(yīng)用

當(dāng)下語(yǔ)音識(shí)別技術(shù)的最新發(fā)展?fàn)顩r

谷歌的神經(jīng)網(wǎng)絡(luò)架構(gòu)（NNA）ASR

百度的深度語(yǔ)音中英文端對(duì)端 DL系統(tǒng)

蘋果DNN-HMM ASR 中學(xué)習(xí)的躍遷概率

科大訊飛的 FSMN-based LVCSR系統(tǒng)

IBM的英語(yǔ)對(duì)話語(yǔ)音識(shí)別

微軟牛津計(jì)劃

深度學(xué)習(xí)同樣也覆蓋到圖像認(rèn)知（從2012年起）

對(duì)象認(rèn)知過程

微軟的神經(jīng)網(wǎng)絡(luò)證明，深度學(xué)習(xí)可以更深

深度非常關(guān)鍵

機(jī)器認(rèn)知中的深度學(xué)習(xí)

• 語(yǔ)義模型

• 自然語(yǔ)言

• 多模態(tài)

• 推理，關(guān)注，記憶（RAM）

• 知識(shí)呈現(xiàn)/管理/開發(fā)

• 最佳決策（通過深度增強(qiáng)學(xué)習(xí)）

符號(hào)嵌入中的深度語(yǔ)義模型

深度語(yǔ)義模型的應(yīng)用

自動(dòng)寫圖說

COCO挑戰(zhàn)的結(jié)果（CVPR-2015，Boston）

機(jī)器認(rèn)知中的深度學(xué)習(xí)

• 深度增強(qiáng)學(xué)習(xí)

• 最優(yōu)行動(dòng)：控制和商業(yè)決策

nature文章通過深度增強(qiáng)學(xué)習(xí)讓機(jī)器達(dá)到人類水平的控制

增強(qiáng)學(xué)習(xí)——長(zhǎng)期價(jià)值的最優(yōu)化

用深度神經(jīng)網(wǎng)絡(luò)和樹形搜索學(xué)會(huì)下圍棋

AlphaGo中的DNN學(xué)習(xí)管道

AlphaGo中使用的DNN架構(gòu)

AlphaGo中四個(gè)DNN的分析

AlphaGo中蒙特卡洛樹形研究

機(jī)器認(rèn)知深度學(xué)習(xí)——存儲(chǔ)網(wǎng)絡(luò)和注意力機(jī)制（用于機(jī)器翻譯）

長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM）

LSTM細(xì)胞隨時(shí)間展開情況

門限循環(huán)單元（GRU），比LSTM簡(jiǎn)單，沒有輸出門。（圖2）和LSTM一樣，乍看很難看出哪部分是GRU功能的關(guān)鍵。

神經(jīng)網(wǎng)絡(luò)的序列學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯

• 這種模型反饋“思想向量”性能不佳

• 尤其是長(zhǎng)語(yǔ)料句子

• 因?yàn)槟悴荒馨?%&!$# 整句話縮到一個(gè) $&!#* 向量里！

采用注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯

全局注意力模型和局部注意力模型

圖像說明注意力模型

機(jī)器認(rèn)知深度學(xué)習(xí)

• 推理神經(jīng)網(wǎng)絡(luò)：存儲(chǔ)網(wǎng)絡(luò)

• 更好的推理神經(jīng)網(wǎng)絡(luò)：帶結(jié)構(gòu)化知識(shí)再現(xiàn)的張量積表征

  
  

推理存儲(chǔ)網(wǎng)絡(luò)

TPR：結(jié)構(gòu)化神經(jīng)網(wǎng)絡(luò)表征

未來研究挑戰(zhàn)

1. 結(jié)構(gòu)化嵌入從而更好地推理：結(jié)合神經(jīng)網(wǎng)絡(luò)表征

2. 結(jié)合深度判別模型和深度生成模型/貝葉斯模型

3. 深度無監(jiān)督學(xué)習(xí)

   
   

深度無監(jiān)督學(xué)習(xí)

• 無監(jiān)督學(xué)習(xí)近來成了深度學(xué)習(xí)領(lǐng)域一大熱點(diǎn)

• 需要有一個(gè)任務(wù)為無監(jiān)督學(xué)習(xí)設(shè)定基準(zhǔn)，比如提高預(yù)測(cè)精度

• 語(yǔ)音識(shí)別和圖像說明的例子

• 4種知識(shí)來源

  
  

理論上說理論和實(shí)踐沒有區(qū)別，但在實(shí)踐中理論和實(shí)踐是有區(qū)別的。

人工智能大咖讀《新智元：機(jī)器 人類=超智能時(shí)代》

李飛飛 | 美國(guó)斯坦福大學(xué)（Stanford University）計(jì)算機(jī)系終身教授，斯坦福人工智能實(shí)驗(yàn)室主任

從 Age of Information 到 Age of Intelligence，人類社會(huì)在 21 世紀(jì)悄然迎來了信息革命后的另一個(gè)大時(shí)代——智能科技與產(chǎn)業(yè)的崛起。面對(duì)大時(shí)代，需要有大智慧、大胸襟和大情懷?！缎轮窃簷C(jī)器 人類=超智能時(shí)代》云集了各方專家的真知灼見，真誠(chéng)地與讀者探討智能時(shí)代的未來、挑戰(zhàn)和責(zé)任。十大人工智能研究院院長(zhǎng)、AI 專家

技 術(shù)重 磅 解 密

谷歌AlphaGO戰(zhàn)勝李世石，標(biāo)志著機(jī)器智能向人類智能的領(lǐng)地又邁進(jìn)了偉大的一步。而“互聯(lián)網(wǎng) ”向“智能 ”時(shí)代的躍遷，也昭示新智能時(shí)代即將到來。2016年，恰逢人工智能誕生60周年，《新智元：機(jī)器 人類=超智能時(shí)代》是人工智能技術(shù)和產(chǎn)業(yè)狂飆突進(jìn)的見證，為讀者打開人工智能世界的一扇大門，不僅可以一窺百度大腦、訊飛超腦、中國(guó)大腦計(jì)劃究竟，更可以著名人工智能研究院院長(zhǎng)等頂級(jí)專家大咖的技術(shù)解密作為對(duì)智能產(chǎn)業(yè)未來趨勢(shì)的參照。近百位學(xué)界、商界、技術(shù)界、產(chǎn)業(yè)界的專家，從機(jī)器人、機(jī)器學(xué)習(xí)、智能汽車、智能醫(yī)療、認(rèn)知科學(xué)、高性能計(jì)算和“AI ”投資等不同視角，對(duì)人工智能和機(jī)器人產(chǎn)業(yè)進(jìn)行評(píng)析。人類未來在AI時(shí)代將何去何從，超智能時(shí)代將引發(fā)社會(huì)更多思考。

促銷鏈接請(qǐng)見閱讀原文。