一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

分享

2018年機(jī)器學(xué)習(xí)/人工智能最重要的進(jìn)展是什么?

 LibraryPKU 2018-12-24

What were the most significant machine learning/AI advances in 2018?


Xavier Amatriain


如果我必須將2018年機(jī)器學(xué)習(xí)進(jìn)展的主要亮點(diǎn)歸納在幾個(gè)標(biāo)題中,我可能會(huì)想到以下幾點(diǎn):


  • AI一些天花亂墜的炒作和令人恐慌的謠言漸漸平息。


  • 更多地關(guān)注公平(fairness)、可解釋性(interpretability)或因果關(guān)系(causality)等具體問題。 


  • 深度學(xué)習(xí)依然存在,并且在實(shí)踐中非常有用,特別是對(duì)于NLP來說,而不僅僅是圖像分類。


  • AI 框架前線的戰(zhàn)斗正在升溫,如果你想榜上有名,你最好發(fā)布一些你自己的框架。


讓我們了解一些細(xì)節(jié):


如果2017年可能是煽動(dòng)和炒作的尖點(diǎn),2018年似乎是我們都開始冷靜下來的一年。雖然一些人確實(shí)在繼續(xù)宣揚(yáng)他們制造 AI 恐慌信息,但他們最近可能比較忙,沒有投入太多精力來做這種事。與此同時(shí),媒體和其他人似乎已經(jīng)平靜地接受了這樣的觀點(diǎn):盡管自動(dòng)駕駛汽車和類似的技術(shù)正在以我們的方式出現(xiàn),但它們不會(huì)在明天發(fā)生。盡管如此,仍然有一些聲音在捍衛(wèi)我們應(yīng)該監(jiān)管人工智能的壞想法,而不是把注意力集中在對(duì)其結(jié)果的監(jiān)管上。



不過,很高興看到,今年的重點(diǎn)似乎已經(jīng)轉(zhuǎn)移到可以解決的更具體的問題上。例如,有很多關(guān)于 Fairness 的討論,不僅有幾次關(guān)于這個(gè)主題的會(huì)議(見FATML或ACM FAT),甚至還有谷歌的一些在線課程。


按照這些思路,今年討論過的其他問題包括可解釋性(interpretability)、解釋(explanations)和因果關(guān)系( causality)。從后者開始,因果關(guān)系似乎重新成為人們關(guān)注的焦點(diǎn),這主要是因?yàn)?Judea Pearl’s “The Book of Why” 的出版。事實(shí)上,即使是大眾媒體也認(rèn)為這是對(duì)現(xiàn)有人工智能方法的“挑戰(zhàn)” (例如,請(qǐng)參閱 article in The Atlantic [1] 這篇文章)。實(shí)際上,即使是在ACM Resys會(huì)議上獲得的最佳論文,也是針對(duì)如何在嵌入中包含因果關(guān)系問題的論文(參見Causal Embeddings for Recommendations [2])。盡管如此,許多其他作者認(rèn)為因果關(guān)系在某種程度上是一種理論上的干擾,我們應(yīng)該再次關(guān)注更具體的問題,如可解釋性。說到解釋,這一領(lǐng)域的亮點(diǎn)之一可能是Anchor [3] 的論文和代碼的發(fā)布,這是同一作者對(duì)著名的 LIME [4] 模型的后續(xù)研究。


Judea Pearl 的The Book of Why 是今年的暢銷書,在亞馬遜公共事務(wù)版塊排第一位:

最新版《The Book of Why: The New Science of Cause and Effect》下載:

請(qǐng)關(guān)注專知公眾號(hào)(掃一掃最下面專知二維碼,或者點(diǎn)擊上方藍(lán)色專知),

  • 后臺(tái)回復(fù)“CBW” 就可以獲取筆《the book of why》下載鏈接~


盡管仍然存在關(guān)于深度學(xué)習(xí)作為最普遍的人工智能范式的問題(包括我在內(nèi)),但當(dāng)我們繼續(xù)瀏覽 Yann Lecun 和 Gary Marcus 之間關(guān)于這一問題的第9次討論時(shí),很明顯,深度學(xué)習(xí)不僅存在于此,而且就其所能提供的內(nèi)容而言,它仍遠(yuǎn)未達(dá)到一個(gè)平臺(tái)。更具體地說,在這一年里,深度學(xué)習(xí)方法在從語言到醫(yī)療保健等與視覺不同的領(lǐng)域取得了前所未有的成功。


事實(shí)上,這可能是在NLP領(lǐng)域,我們看到了今年最有趣的進(jìn)展。如果我不得不選擇今年最令人印象深刻的人工智能應(yīng)用程序,它們都將是NLP(而且都來自谷歌)。第一個(gè)是Google's super useful smart compose [5],第二個(gè)是他們的 Duplex [6] 對(duì)話系統(tǒng)。


使用語言模型的想法加速了許多這些進(jìn)步,從今年的 UMLFit [7] 開始流行起來,并且我們看到了其他  (以及改進(jìn)) 的方法,如ELMO [8],open AI transformers [9],或最近的谷歌的 BERT [10],它擊敗了許多 SOTA 的結(jié)果走出大門。這些模型被描述為“NLP的ImageNet時(shí)刻”,因?yàn)樗鼈兲峁┝爽F(xiàn)成的、經(jīng)過預(yù)訓(xùn)練的通用模型,也可以為特定的任務(wù)進(jìn)行微調(diào)。除了語言模型之外,還有許多其他有趣的進(jìn)步,比如Facebooks multilingual embeddings [11]等等。值得注意的是,我們還看到了這些方法和其他方法被集成到更通用的NLP框架中的速度,例如Allennlp [12 ]或Zalando的FLAIR [13]。


說到框架,今年的“人工智能框架之戰(zhàn)”已經(jīng)升溫。雖然在一些情況下使用 PyTorch 的情況仍然不太理想,但似乎 PyTorch 比 TensorFlow 在可用性、文檔和教育方面的追趕速度更快。有趣的是,選擇 PyTorch 作為實(shí)現(xiàn)Fast.ai的框架可能起到了很大的作用。盡管如此,谷歌已經(jīng)意識(shí)到了這一切,并正朝著正確的方向努力,將Keras作為 '頭等艙公民' 納入框架。最后,我們都受益于所有這些巨大的資源,所以歡迎他們的到來!


有趣的是,我們看到了許多有趣的發(fā)展的另一個(gè)領(lǐng)域是強(qiáng)化學(xué)習(xí)。雖然我不認(rèn)為RL的研究進(jìn)展像前幾年那樣令人印象深刻 (只想到了DeepMind最近的Impala [14]),但令人驚訝的是,在一年中,我們看到所有主要人工智能玩家都發(fā)布了一個(gè)RL框架。 谷歌發(fā)布了 Dopamine framework [15] 研究框架,而 DeepMind (也在谷歌內(nèi)部) 發(fā)布了有點(diǎn)競(jìng)爭(zhēng)的 TRFL [16] 框架。當(dāng)微軟發(fā)布 Textworld [17]時(shí),F(xiàn)acebook不能落后,發(fā)布了 Horizon [18],后者更適合訓(xùn)練基于文本的agents。希望所有這些開放源碼的優(yōu)點(diǎn)都能幫助我們?cè)?019年看到更多的RL進(jìn)展。



為了完成框架前面的工作,我很高興看到Google最近在 TensorFlow 之上發(fā)布了TFRank [19]。排名ranking 是一個(gè)非常重要的ML應(yīng)用,它最近得到的愛可能比它應(yīng)得的少……


看起來深度學(xué)習(xí)最終消除了對(duì)數(shù)據(jù)進(jìn)行智能化的需求,但這遠(yuǎn)非如此。 該領(lǐng)域仍然有很多有趣的進(jìn)展,圍繞著改進(jìn)數(shù)據(jù)的想法。例如,雖然數(shù)據(jù)增強(qiáng)已經(jīng)存在了一段時(shí)間,對(duì)于許多DL應(yīng)用程序來說也是非常關(guān)鍵,但今年谷歌發(fā)布了 auto-augment [20],這是一種深度強(qiáng)化學(xué)習(xí)的方法,可以自動(dòng)增強(qiáng)訓(xùn)練數(shù)據(jù)。一個(gè)更極端的想法是用合成數(shù)據(jù)來訓(xùn)練DL模型。這已經(jīng)在實(shí)踐中嘗試了一段時(shí)間,被許多人認(rèn)為是未來人工智能的關(guān)鍵。NVIDIA在他們的論文 Training Deep Learning with Synthetic Data [21]中提出了有趣的新想法。在我們的 Learning from the Experts [22]中,我們還展示了如何使用專家系統(tǒng)生成綜合數(shù)據(jù),即使與現(xiàn)實(shí)世界的數(shù)據(jù)相結(jié)合,這些數(shù)據(jù)也可以用來訓(xùn)練DL系統(tǒng)。最后,另一個(gè)有趣的方法是通過使用“弱監(jiān)督”來減少大量手工標(biāo)注數(shù)據(jù)的需求。Snorkel [23]}是一個(gè)非常有趣的項(xiàng)目,旨在通過提供一個(gè)通用框架來促進(jìn)這種方法。


至于人工智能的更多基礎(chǔ)性突破,可能是我關(guān)注的重點(diǎn),但我沒有見過很多。 我并不完全贊同Hinton,因?yàn)樗f這種缺乏創(chuàng)新是由于該領(lǐng)域有“少數(shù)資深人士和無數(shù)年輕人”,雖然在科學(xué)上確實(shí)有一種趨勢(shì),那就是在晚年進(jìn)行突破性的研究。在我看來,目前缺乏突破的主要原因是,現(xiàn)有方法和變體仍然有許多有趣的實(shí)際應(yīng)用,因此很難在可能不太實(shí)際的方法中冒險(xiǎn)。當(dāng)這個(gè)領(lǐng)域的大部分研究都是由大公司贊助的時(shí)候,這就更有意義了。無論如何,一篇挑戰(zhàn)某些假設(shè)的有趣論文是“An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling” [24]。雖然它是高度經(jīng)驗(yàn)性的,并且使用了已知的方法,但它為發(fā)現(xiàn)新的方法打開了大門,因?yàn)樗C明了通常被認(rèn)為是最優(yōu)的方法實(shí)際上并不是最優(yōu)的。另一篇高度探索性的論文是最近獲得N額URIPS 最佳論文獎(jiǎng)的“Neural Ordinary Differential Equations” [25],它對(duì)DL中的一些基本內(nèi)容提出了挑戰(zhàn),包括layer本身的概念。



Viral Shah

2017年,在Julia [1] 社區(qū),我們對(duì)機(jī)器學(xué)習(xí)/人工智能進(jìn)行了調(diào)查,并撰寫了一篇關(guān)于機(jī)器學(xué)習(xí)和編程語言的博客文章。我們?cè)谖恼轮械贸鼋Y(jié)論:


機(jī)器學(xué)習(xí)模型已經(jīng)成為構(gòu)建更高層次和更復(fù)雜抽象的極其普遍的信息處理系統(tǒng);遞歸、高階模型,甚至堆棧機(jī)器和語言解釋器,都是作為基本組件的組合實(shí)現(xiàn)的。ML是一種新的編程范式,盡管它是一個(gè)很奇怪的編程范式,它具有大量的數(shù)值性、可微性和并行性。


我們?cè)谝黄┛臀恼轮嘘U述了我們的進(jìn)展:為機(jī)器學(xué)習(xí)建立了一種語言和編譯器 [2]。


Renato Azevedo Sant Anna


我想說的是,谷歌的DeepMind AlphaZero 在短短幾天內(nèi)就有了很強(qiáng)的學(xué)習(xí)棋盤游戲的能力,GANs具有生成假人臉圖像的能力,更多地利用遷移學(xué)習(xí)來提高深度學(xué)習(xí)算法的速度,而不是原始主流使用的強(qiáng)化學(xué)習(xí)。 



參考鏈接:


[1] https://www./technology/archive/2018/05/machine-learning-is-stuck-on-asking-why/560675/?single_page=true

[2] https://recsys./recsys18/session-2/

[3] https://github.com/marcotcr/anchor

[4] https://homes.cs./~marcotcr/blog/lime/

[5] https://ai./2018/05/smart-compose-using-neural-networks-to.html?m=1

[6] https://ai./2018/05/duplex-ai-system-for-natural-conversation.html

[7] http://nlp./classification/2018/05/15/introducting-ulmfit.html

[8] https:///abs/1802.05365

[9] https://blog./language-unsupervised/

[10] https://github.com/google-research/bert

[11] https://code./ml-applications/under-the-hood-multilingual-embeddings/

[12] https://github.com/allenai/allennlp/releases/tag/v0.7.2

[13] https://github.com/zalandoresearch/flair

[14] https:///pdf/1802.01561.pdf

[15] https://blog./2018/08/22/snorkel-rapid-training-data-creation-with-weak-supervision/amp/?__twitter_impression=true

[16] https:///blog/trfl/

[17] https://www.microsoft.com/en-us/research/blog/textworld-a-learning-environment-for-training-reinforcement-learning-agents-inspired-by-text-based-games/?OCID=msr_blog_textworld_icml_tw

[18] https://research./publications/horizon-facebooks-open-source-applied-reinforcement-learning-platform/

[19] https://ai./2018/12/tf-ranking-scalable-tensorflow-library.html

[20] https://ai./2018/06/improving-deep-learning-performance.html?m=1

[21] https:///abs/1804.06516

[22] https:///abs/1804.08033

[23] https://blog./2018/08/22/snorkel-rapid-training-data-creation-with-weak-supervision/amp/?__twitter_impression=true

[24] https:///pdf/1803.01271.pdf

[25] https:///abs/1806.07366

[26] https:///

[27] https:///blog/2018/12/ml-language-compiler



原文鏈接:

https://www./What-were-the-most-significant-machine-learning-AI-advances-in-2018

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多

    国产亚洲二区精品美女久久| 国产精品欧美激情在线观看| 日韩中文字幕狠狠人妻| 老鸭窝老鸭窝一区二区| 九九视频通过这里有精品| 国产欧美高清精品一区| 国产三级视频不卡在线观看| 欧美日韩有码一二三区| 日韩精品一区二区三区四区| 日韩人妻中文字幕精品| 亚洲一区二区欧美激情| 日本人妻精品中文字幕不卡乱码| 日韩高清一区二区三区四区| 最近日韩在线免费黄片| 激情五月激情婷婷丁香| 日本精品最新字幕视频播放| 成人午夜免费观看视频| 国产精品不卡高清在线观看| 在线中文字幕亚洲欧美一区 | 日本精品理论在线观看| 久久久精品日韩欧美丰满| 大香蕉久久精品一区二区字幕| 偷自拍亚洲欧美一区二页| 日韩欧美国产亚洲一区| 日本不卡在线一区二区三区| 欧美精品中文字幕亚洲| 色婷婷中文字幕在线视频| 欧美黄色黑人一区二区| 午夜激情视频一区二区| 国产内射一级一片内射高清视频| 中文字幕在线五月婷婷| 福利一区二区视频在线| 成人欧美精品一区二区三区| 99精品国产一区二区青青| 激情综合网俺也狠狠地| 日本黄色录像韩国黄色录像| 亚洲最新av在线观看| 午夜精品在线视频一区| 亚洲国产成人久久一区二区三区| 国产视频一区二区三区四区| 欧美小黄片在线一级观看|