我有種不祥的感覺(jué)，2018年可能會(huì)發(fā)生翻天覆地的變化。2017年有很多令人難以置信的突破，而這些突破將在2018年飛速發(fā)展。2017年的很多研究結(jié)果將轉(zhuǎn)化為日常應(yīng)用。

正如我去年所做的那樣，我已經(jīng)整理出了一份有關(guān)2018年深度學(xué)習(xí)預(yù)測(cè)的清單。

1.大多數(shù)深度學(xué)習(xí)硬件初創(chuàng)公司將會(huì)失敗

許多深度學(xué)習(xí)硬件初創(chuàng)企業(yè)將在2018年交付他們的芯片。這些企業(yè)將站在破產(chǎn)的邊緣，因?yàn)樗鼈儜?yīng)該保留自己的軟件，以便支持自己的新解決方案。硬件是這些公司的DNA。 不幸的是，在DL領(lǐng)域，軟件同樣重要。 這些創(chuàng)業(yè)公司大多不了解軟件，也不了解開(kāi)發(fā)軟件的成本。 這些公司可以交付芯片，但是上面沒(méi)有任何軟件運(yùn)行。

收縮陣列解決方案最基礎(chǔ)的部分已經(jīng)被攻克，相比于2017年，我們無(wú)法將其性能升級(jí)10倍。研究人員不僅利用tensor core進(jìn)行推理，而且將之應(yīng)用于訓(xùn)練。

英特爾的解決方案將會(huì)延遲推出，這會(huì)令人失望。有記錄顯示英特爾無(wú)法在2017年中期發(fā)布其方案，人們開(kāi)始猜測(cè)發(fā)布的時(shí)間。英特爾的方案沒(méi)有按時(shí)完成，也會(huì)走向失敗。

Google的TPU將繼續(xù)給人們帶來(lái)驚喜。為了涉足硬件業(yè)務(wù)，Google也許會(huì)將IP授權(quán)給其他半導(dǎo)體供應(yīng)商。如果Google是Nvidia以外唯一真正的玩家，這可以行得通。

2.元學(xué)習(xí)將是新的SGD

 2017年出現(xiàn)了很多有關(guān)元學(xué)習(xí)的重大研究。因?yàn)檠芯拷缍挤浅Ａ私庠獙W(xué)習(xí)，所以舊的隨機(jī)梯度下降（SGD）法將被淘汰，更有效的方法將會(huì)把開(kāi)發(fā)性和探索性搜索方法結(jié)合起來(lái)。

無(wú)監(jiān)督學(xué)習(xí)由元學(xué)習(xí)算法驅(qū)動(dòng)，整個(gè)學(xué)習(xí)過(guò)程是循序漸進(jìn)的。

3.生成模型驅(qū)動(dòng)新的模型

生成模型將會(huì)更加科學(xué)地工作。 目前，大多數(shù)研究集中在圖像和語(yǔ)音生成方面。 但是，我們應(yīng)該將這些方法融入到復(fù)雜系統(tǒng)的建模工具中。一個(gè)很好的例子就是深度學(xué)習(xí)在構(gòu)建經(jīng)濟(jì)學(xué)模型中的應(yīng)用。

4.自我對(duì)局是自動(dòng)化的杰出成果

AlphaGo Zero 、AlphaZero自我學(xué)習(xí)和自我對(duì)局代表著巨大的飛躍。 在我看來(lái)，它與深度學(xué)習(xí)帶來(lái)的影響不相上下。 深度學(xué)習(xí)發(fā)現(xiàn)了通用函數(shù)逼近器。RL 自我對(duì)局發(fā)現(xiàn)了知識(shí)創(chuàng)造。

期待看到更多有關(guān)自我對(duì)局的進(jìn)步。

5.直覺(jué)機(jī)器人將彌補(bǔ)語(yǔ)義鴻溝

這是我大膽的預(yù)測(cè)。我們將會(huì)彌補(bǔ)直覺(jué)機(jī)器人和理性機(jī)器人之間的語(yǔ)義鴻溝。對(duì)于如何構(gòu)建新AI 來(lái)說(shuō)，雙重過(guò)程理論（兩個(gè)認(rèn)知機(jī)器人，一個(gè)是無(wú)模型的，另一個(gè)是基于模型的）將更加受歡迎。 2018年，人造直覺(jué)的概念將不再是一種附帶的概念，更多的是被普遍接受的概念。

6. 無(wú)法實(shí)現(xiàn)可解釋性--我們只假設(shè)

可解釋性存在兩個(gè)問(wèn)題。更為人知的問(wèn)題是，解釋有太多規(guī)則，人類(lèi)可能無(wú)法掌握。第二個(gè)不太為人知的問(wèn)題是，機(jī)器產(chǎn)生的概念對(duì)人來(lái)說(shuō)完全是陌生的，也無(wú)法解釋。我們已經(jīng)在AlphaGo Zero和Alpha Zero領(lǐng)略到了這一點(diǎn)。人們能夠辨別出一個(gè)新的舉動(dòng)，但是機(jī)器根本無(wú)法理解這個(gè)舉動(dòng)背后的邏輯。

在我看來(lái)，這是一個(gè)無(wú)法解決的問(wèn)題。如此一來(lái)，機(jī)器只能加強(qiáng)“假設(shè)解釋”。簡(jiǎn)而言之，解釋性機(jī)器人的目的就是要給予人類(lèi)熟悉的解釋或者從直覺(jué)層面理解。然而，在大多數(shù)情況下，機(jī)器人無(wú)法給予人類(lèi)完整的解釋。

我們將不得不通過(guò) “假設(shè)解釋”，進(jìn)一步推動(dòng)深度學(xué)習(xí)可解釋性方面的研究。

7.深度學(xué)習(xí)的研究信息會(huì)下降

對(duì)于研究深度學(xué)習(xí)的人來(lái)說(shuō)，2017年十分艱辛。 ICLR 2018年會(huì)議上提交的論文數(shù)量約為4000份。為了大會(huì)做準(zhǔn)備，研究人員每天就得閱讀10篇論文。

這個(gè)領(lǐng)域中的問(wèn)題越來(lái)越嚴(yán)重，因?yàn)槔碚摽蚣芏荚谕晟浦?。為了在理論上取得進(jìn)步，我們需要找到更先進(jìn)的數(shù)學(xué)算法。這是一個(gè)難題，因?yàn)榇蠖鄶?shù)深度學(xué)習(xí)的研究人員不具備足夠的數(shù)學(xué)知識(shí)，所以無(wú)法理解這類(lèi)系統(tǒng)的復(fù)雜之處。深度學(xué)習(xí)需要具備復(fù)雜理論知識(shí)的研究人員，但這類(lèi)研究人員少之甚少。

由于論文太多，理論欠佳，我們?nèi)缃竦奶幘晨皯n。

我們還缺少AGI的發(fā)展規(guī)劃。理論薄弱;因此，我們最好的選擇就是把人類(lèi)認(rèn)知納入我們的計(jì)劃，制定一個(gè)具有里程碑意義的目標(biāo)。目前，我們只有一個(gè)源自認(rèn)知心理學(xué)中投機(jī)理論的框架。這種情況很糟糕，因?yàn)檫@些領(lǐng)域中的實(shí)踐經(jīng)驗(yàn)證據(jù)不足以支撐進(jìn)一步研究。

2018年開(kāi)始，有關(guān)深度學(xué)習(xí)的研究論文數(shù)量可能會(huì)翻三到四翻。

8.工業(yè)化來(lái)自教學(xué)環(huán)境

 通過(guò)發(fā)展具體化的教學(xué)環(huán)境，深度學(xué)習(xí)系統(tǒng)會(huì)更加可預(yù)測(cè)和可控。如果你想找到最原始的教學(xué)方法，你只需要先了解一下如何訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)。在這個(gè)領(lǐng)域中，更多的進(jìn)步指日可待。

我期待更多的公司能夠分享自己部署深度學(xué)習(xí)的經(jīng)驗(yàn)。

9.會(huì)話認(rèn)知崛起

目前衡量AGI發(fā)展的方式是陳舊的。 我們需要能夠解決現(xiàn)實(shí)世界中動(dòng)態(tài)（即非固定）復(fù)雜問(wèn)題的新模式。 在未來(lái)一年里，新聞媒體將會(huì)增加這個(gè)領(lǐng)域的報(bào)道。 在2018年3月1 - 2日的 Information Energy 2018 in Amsterdam上，我將發(fā)表自己對(duì)會(huì)話認(rèn)知模式的看法。

10. 在道德層面規(guī)范人工智能應(yīng)用

人工智能的應(yīng)用將進(jìn)一步受到道德的約束。人們現(xiàn)在逐漸意識(shí)到自動(dòng)化運(yùn)行會(huì)帶來(lái)意想不到的后果，而這將是災(zāi)難性的。如今，F(xiàn)acebook，Twitter，Google，Amazon等上面的簡(jiǎn)單自動(dòng)化運(yùn)行可能會(huì)對(duì)社會(huì)造成不良影響。

我們需要了解部署能夠預(yù)測(cè)人類(lèi)行為的機(jī)器需要遵守哪些道德規(guī)范。我們目前掌握的面部識(shí)別是一種非常危險(xiǎn)的技術(shù)。有些算法可以生成與現(xiàn)實(shí)無(wú)法區(qū)分的內(nèi)容報(bào)道，這也是不可小覷的問(wèn)題。生活在社會(huì)中，我們需要確保應(yīng)用人工智能給社會(huì)帶來(lái)利益，而不會(huì)加劇社會(huì)不平等。

我期待來(lái)年會(huì)看到更多關(guān)于道德的話題。但是，不要指望會(huì)政府會(huì)出臺(tái)相關(guān)規(guī)定。目前，政策制定者仍然不了解人工智能對(duì)社會(huì)產(chǎn)生了哪些影響。我不指望他們能停止玩弄政治手段，開(kāi)始解決社會(huì)中的真正問(wèn)題。美國(guó)人民已經(jīng)成為安全保障體系漏洞的受害者，但是政府并沒(méi)有出臺(tái)新的立法或措施來(lái)解決這個(gè)嚴(yán)重的問(wèn)題。

準(zhǔn)備接受2018年的沖擊！

這就是我現(xiàn)在所擁有的一切。 2018年將是重要的一年，我們都會(huì)更好地扣緊安全帶，并為即將到來(lái)的沖擊做好準(zhǔn)備。

原文作者：CARLOS E. PEREZ, INTUITION MACHINE INC.

原文鏈接：https:///2018/01/02/10-predictions-for-deep-learning-in-2018/

編譯組出品。編輯：郝鵬程