|
AI研究論文 考慮到行業(yè)的快速發(fā)展，試圖跟上人工智能研究論文的步伐可能給人的感覺會(huì)是覺得這樣做是徒勞的練習(xí)。如果你仍然埋在那些還沒來得及閱讀的文件中，那么不得不說你很幸運(yùn)了。 為了幫助您趕上時(shí)代的潮流，我們把2018年10篇重要的AI研究論文總結(jié)了一下，讓您對(duì)今年的機(jī)器學(xué)習(xí)進(jìn)展有一個(gè)大致的廣泛概述。還有更多的突破性論文值得一讀，但我們認(rèn)為這是一個(gè)很好的開始。 我們推薦的論文如下： 1.Universal Language Model Fine-tuning for Text Classification由Jeremy Howard和Sebastian Ruder撰寫的通用語言模型文本分類微調(diào)（2018） https:///abs/1801.06146 原始摘要 歸納式遷移學(xué)習(xí)極大地影響了計(jì)算機(jī)視覺，但NLP中的現(xiàn)有方法仍需要從頭開始進(jìn)行，并針對(duì)NLP任務(wù)進(jìn)行特定的修改和訓(xùn)練。我們提出了通用語言模型微調(diào)（ULMFiT），這是一種有效的遷移學(xué)習(xí)方法，可應(yīng)用于NLP中的任何任務(wù)，并介紹了微調(diào)語言模型的關(guān)鍵技術(shù)。我們的方法明顯優(yōu)于六個(gè)文本分類任務(wù)的最新技術(shù)，將大多數(shù)數(shù)據(jù)集的誤差降低了18-24％。此外，僅使用100個(gè)標(biāo)記示例，它可以從頭開始匹配100x以上數(shù)據(jù)的訓(xùn)練性能。我們開源了預(yù)訓(xùn)練模型和代碼。 個(gè)人總結(jié) Howard和Ruder建議使用預(yù)先訓(xùn)練的模型來解決各種NLP問題。使用這種方法，您無需從頭開始訓(xùn)練模型，只需對(duì)原始模型進(jìn)行微調(diào)。他們稱為通用語言模型微調(diào)（ULMFiT）的方法優(yōu)于最先進(jìn)的結(jié)果，將誤差降低了18-24％。更重要的是，只要100個(gè)標(biāo)記示例，ULMFiT 就能達(dá)到在 10K 個(gè)標(biāo)注樣本上訓(xùn)練的模型的效果。 本文的核心思想是什么？ 為了解決缺乏標(biāo)記數(shù)據(jù)，并使NLP分類更容易且耗時(shí)更少，研究人員建議將遷移學(xué)習(xí)應(yīng)用于NLP問題。因此，您可以使用另一個(gè)經(jīng)過訓(xùn)練的模型來解決類似問題作為基礎(chǔ)，然后微調(diào)原始模型以解決您的特定問題，而不是從頭開始訓(xùn)練模型。 但是，為了取得成功，這種微調(diào)應(yīng)考慮到以下幾個(gè)重要因素：
什么是關(guān)鍵成就？
AI社區(qū)的想法是什么？
未來的研究領(lǐng)域是什么？
潛在商業(yè)應(yīng)用？ ULMFiT可以更有效地解決各種NLP問題，包括：
這種方法也可以幫助序列標(biāo)記和自然語言生成。 2.OBFUSCATED GRADIENTS GIVE A FALSE SENSE OF SECURITY: CIRCUMVENTING DEFENSES TO ADVERSARIAL EXAMPLES混淆漸變給出了一種虛假的安全感：通過Anish Athalye，Nicholas Carlini，David Wagner（2018）來規(guī)避對(duì)抗性例子的防御 https:///abs/1802.00420 原始摘要 我們識(shí)別出混淆漸變，一種漸變掩蔽，是一種在防御對(duì)抗樣本時(shí)導(dǎo)致虛假的安全感的現(xiàn)象。雖然導(dǎo)致混淆漸變的防御似乎會(huì)破壞基于迭代優(yōu)化的攻擊，但我們發(fā)現(xiàn)可以規(guī)避依賴此效果的防御措施。我們描述了展示效果的防御的特征行為，并且對(duì)于我們發(fā)現(xiàn)的三種類型的混淆梯度中的每一種，我們都開發(fā)了對(duì)應(yīng)的攻擊技術(shù)來克服它。在一個(gè)案例研究中，在ICLR 2018上檢查未經(jīng)認(rèn)證的白盒安全防御，我們發(fā)現(xiàn)混淆的梯度是常見的，9個(gè)防御中的7個(gè)依賴于混淆的梯度。在每篇論文所考慮的原始威脅模型中，我們的新攻擊成功完全繞過了6個(gè)防御，部分避開1種防御。 我們的總結(jié) 研究人員發(fā)現(xiàn)，針對(duì)對(duì)抗性示例的防御通常使用混淆的漸變，這會(huì)產(chǎn)生虛假的安全感，因?yàn)樗鼈兒苋菀妆焕@過。該研究描述了三種對(duì)抗混淆梯度的方式，并說明哪種技術(shù)可以規(guī)避防御。這些發(fā)現(xiàn)可以幫助那些依靠混淆漸變來使用防御的組織來強(qiáng)化他們當(dāng)前的防御體系。 本文的核心思想是什么？ 對(duì)抗混淆梯度有三種常見方式：
有許多線索表明梯度有問題，包括：
什么是關(guān)鍵成就？ 證明這些天使用的大多數(shù)防御技術(shù)都容易受到攻擊，即：
AI社區(qū)的想法是什么？
未來的研究領(lǐng)域是什么？ 通過仔細(xì)和徹底的評(píng)估來構(gòu)建防御，這樣他們不僅可以防御現(xiàn)有攻擊，還可以防御未來可能發(fā)生的攻擊。 潛在的商業(yè)應(yīng)用？ 通過使用研究論文中提供的指導(dǎo)，組織可以確定他們的防御是否依賴于混淆梯度并轉(zhuǎn)向更魯棒的防御方法。 3.Deep contextualized word representationsGardner，Christopher Clark，Kenton Lee，Luke Zettlemoyer（2018）的深層語境化表達(dá)。 https:///abs/1802.05365 原始摘要 我們引入了一種新的深層語境化詞表示，它模擬了（1）詞使用的復(fù)雜特征（例如，語法和語義），以及（2）這些用途如何在語言上下文中變化（即，模型多義詞）。我們的單詞向量是深度雙向語言模型（biLM）的內(nèi)部狀態(tài)的學(xué)習(xí)函數(shù)，它是在大型文本語料庫上預(yù)先訓(xùn)練的。我們表明，這些表示可以很容易地添加到現(xiàn)有模型中，并顯著改善六個(gè)具有挑戰(zhàn)性的NLP問題的技術(shù)發(fā)展水平，包括問答、文本蘊(yùn)涵和情感分析。我們還提供了一個(gè)分析，表明暴露預(yù)訓(xùn)練網(wǎng)絡(luò)的深層內(nèi)部是至關(guān)重要的，允許下游模型混合不同類型的半監(jiān)督信號(hào)。 我們的總結(jié) 艾倫人工智能研究所的團(tuán)隊(duì)引入了一種新型的深層語境化詞匯表示 - 從語言模型中得到的特征向量（ELMo）。在ELMO增強(qiáng)模型中，每個(gè)單詞都是根據(jù)使用它的整個(gè)上下文進(jìn)行矢量化的。將ELMo添加到現(xiàn)有NLP系統(tǒng)導(dǎo)致1）相對(duì)誤差減少6-20％，2）訓(xùn)練模型所需的時(shí)間顯著降低的和3）達(dá)到基線性能所需的訓(xùn)練數(shù)據(jù)量顯著減少。 本文的核心思想是什么？
什么是關(guān)鍵成就？
AI社區(qū)的想法是什么？
未來的研究領(lǐng)域是什么？
潛在商業(yè)應(yīng)用？ ELMo顯著提高了現(xiàn)有NLP系統(tǒng)的性能：
4. An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling (2018)用于序列建模的通用卷積和遞歸網(wǎng)絡(luò)的實(shí)證評(píng)估，Shaojie Bai，J。Zico Kolter，Vladlen Koltun（2018） 原始摘要 對(duì)于大多數(shù)深度學(xué)習(xí)從業(yè)者而言，序列建模與循環(huán)網(wǎng)絡(luò)同義。然而，最近的結(jié)果表明，卷積架構(gòu)在音頻合成和機(jī)器翻譯等任務(wù)上可以勝過遞歸網(wǎng)絡(luò)。給定一個(gè)新的序列建模任務(wù)或數(shù)據(jù)集，應(yīng)該使用哪種架構(gòu)？我們對(duì)序列建模的通用卷積和循環(huán)架構(gòu)進(jìn)行了系統(tǒng)評(píng)估。這些模型通過廣泛的標(biāo)準(zhǔn)任務(wù)進(jìn)行評(píng)估，這些任務(wù)通常用于對(duì)經(jīng)常性網(wǎng)絡(luò)進(jìn)行基準(zhǔn)測(cè)試。我們的結(jié)果表明，簡(jiǎn)單的卷積體系結(jié)構(gòu)優(yōu)于規(guī)范的循環(huán)網(wǎng)絡(luò)，例如跨越各種任務(wù)和數(shù)據(jù)集的LSTM，同時(shí)展示了更長(zhǎng)的有效內(nèi)存。我們得出結(jié)論，應(yīng)重新考慮序列建模和循環(huán)網(wǎng)絡(luò)之間的共同關(guān)聯(lián)，并應(yīng)將卷積網(wǎng)絡(luò)視為序列建模任務(wù)的自然起點(diǎn)。為了協(xié)助相關(guān)工作，我們?cè)趆ttp://github.com/locuslab/TCN上提供了相關(guān)代碼。 我們的總結(jié) 本文的作者質(zhì)疑了常見的假設(shè)，即循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)該是序列建模任務(wù)的默認(rèn)起點(diǎn)。他們的研究結(jié)果表明，通用時(shí)間卷積網(wǎng)絡(luò)（TCN）在廣泛的序列建模任務(wù)中令人信服地勝過規(guī)范的循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，如長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）和門控循環(huán)單位網(wǎng)絡(luò)（GRU）。 本文的核心思想是什么？ 使用最近引入的最佳實(shí)踐（例如擴(kuò)張卷積和殘余連接）設(shè)計(jì)的時(shí)間卷積網(wǎng)絡(luò)（TCN）在一系列全面的序列建模任務(wù)中明顯優(yōu)于通用的遞歸架構(gòu)。 TCN表現(xiàn)出比遞歸架構(gòu)更大的內(nèi)存，因此更適合于需要長(zhǎng)期歷史記錄的任務(wù)。 什么是關(guān)鍵成就？
AI社區(qū)的想法是什么？ “在到達(dá)RNN之前，始終先從CNN開始。你會(huì)對(duì)你能走多遠(yuǎn)感到驚訝?！?- 特斯拉人工智能總監(jiān)Andrej Karpathy。 未來的研究領(lǐng)域是什么？ 需要進(jìn)一步的架構(gòu)和算法闡述，以提高TCN在不同序列建模任務(wù)中的性能。 潛在的商業(yè)應(yīng)用？ 引入TCN可以提高依賴于循環(huán)架構(gòu)進(jìn)行序列建模的AI系統(tǒng)的性能。其中包括以下任務(wù)：
5.Delayed Impact of Fair Machine Learning合理機(jī)器學(xué)習(xí)的延遲影響，由Lydia T. Liu，Sarah Dean，Esther Rolf，Max Simchowitz，Moritz Hardt著（2018） https:///abs/1803.04383 原始摘要 機(jī)器學(xué)習(xí)的公平性主要在靜態(tài)分類設(shè)置中進(jìn)行研究，而不關(guān)心決策如何隨著時(shí)間的推移改變基礎(chǔ)人口。傳統(tǒng)觀點(diǎn)認(rèn)為，公平標(biāo)準(zhǔn)可以促進(jìn)他們旨在保護(hù)的群體的長(zhǎng)期福祉。 我們研究靜態(tài)合理標(biāo)準(zhǔn)如何與幸福的時(shí)間指標(biāo)相互作用，例如利益變量長(zhǎng)期改善、停滯和衰退。我們證明，即使在一步反饋模型中，共同的公平標(biāo)準(zhǔn)通常也不會(huì)促進(jìn)隨著時(shí)間的推移而改善，并且實(shí)際上可能在無約束的目標(biāo)不會(huì)導(dǎo)致?lián)p害的情況下造成傷害。我們完整的描述了三個(gè)標(biāo)準(zhǔn)規(guī)則的延遲影響，對(duì)比了這些標(biāo)準(zhǔn)表現(xiàn)出在質(zhì)量上不同的行為。此外，我們發(fā)現(xiàn)，自然形式的測(cè)量誤差擴(kuò)大了公平標(biāo)準(zhǔn)有利地發(fā)揮作用的范圍。 我們的結(jié)果強(qiáng)調(diào)了測(cè)量和時(shí)間建模在評(píng)估公平標(biāo)準(zhǔn)中的重要性，提出了一系列新的挑戰(zhàn)和權(quán)衡取舍。 我們的總結(jié) 目標(biāo)是在使用基于分?jǐn)?shù)的機(jī)器學(xué)習(xí)算法來決定誰獲得機(jī)會(huì)（例如，貸款、獎(jiǎng)學(xué)金、工作）以及誰沒有機(jī)會(huì)時(shí)，確?？绮煌丝谌后w的公平待遇。伯克利人工智能研究實(shí)驗(yàn)室的研究人員表明，由于某些延遲的結(jié)果，使用共同的公平標(biāo)準(zhǔn)實(shí)際上可能會(huì)損害代表性不足或處于不利地位的群體。因此，他們鼓勵(lì)在設(shè)計(jì)“公平”機(jī)器學(xué)習(xí)系統(tǒng)時(shí)考慮長(zhǎng)期成果。 本文的核心思想是什么？ 考慮到實(shí)施公平標(biāo)準(zhǔn)的延遲結(jié)果表明，這些標(biāo)準(zhǔn)可能對(duì)他們旨在保護(hù)的群體的長(zhǎng)期福祉產(chǎn)生不利影響（例如，借款人的信用評(píng)分惡化，無法償還貸款在無約束的環(huán)境中不會(huì)被授予）。 由于公平標(biāo)準(zhǔn)可能會(huì)主動(dòng)傷害弱勢(shì)群體，因此解決方案可以是使用涉及結(jié)果的明確最大化的決策規(guī)則或結(jié)果模型。 什么是關(guān)鍵成就？ 提出諸如人口均等和機(jī)會(huì)均等之類的公平標(biāo)準(zhǔn)會(huì)導(dǎo)致弱勢(shì)群體的任何可能結(jié)果，包括改善、停滯和衰退，同時(shí)遵循該機(jī)構(gòu)的最優(yōu)無約束選擇政策（例如，利潤(rùn)最大化）將永遠(yuǎn)不會(huì)導(dǎo)致下降（弱勢(shì)群體）。 通過FICO信用評(píng)分?jǐn)?shù)據(jù)的實(shí)驗(yàn)支持理論預(yù)測(cè)，考慮硬公平約束的替代方案。 AI社區(qū)的想法是什么？
未來的研究領(lǐng)域是什么？ 考慮超出人口平均變化的影響的其他特征（例如，方差、個(gè)體水平結(jié)果）。 研究結(jié)果優(yōu)化對(duì)建模和測(cè)量誤差的穩(wěn)健性。 潛在的商業(yè)應(yīng)用？ 通過從公平標(biāo)準(zhǔn)強(qiáng)加的約束轉(zhuǎn)向結(jié)果建模，公司可能會(huì)開發(fā)出更有利可圖也更“公平”的貸款或招聘ML系統(tǒng)。 6.World Models世界模型，David Ha和Jurgen Schmidhuber（2018年） https:///abs/1803.10122 原始摘要 我們探索建立流行的強(qiáng)化學(xué)習(xí)環(huán)境的生成神經(jīng)網(wǎng)絡(luò)模型。我們的世界模型可以以無人監(jiān)督的方式快速訓(xùn)練，以學(xué)習(xí)環(huán)境的壓縮空間和時(shí)間表示。通過使用從世界模型中提取的特征作為代理的輸入，我們可以訓(xùn)練一個(gè)非常緊湊和簡(jiǎn)單的策略，可以解決所需的任務(wù)。我們甚至可以完全根據(jù)其世界模型產(chǎn)生的幻覺夢(mèng)想訓(xùn)練我們的代理人，并將此政策轉(zhuǎn)回實(shí)際環(huán)境。 本文的交互式版本可在https://worldmodels.上找到。 我們的總結(jié) Ha和Schmidhuber開發(fā)了一種世界模型，可以以無人監(jiān)督的方式快速訓(xùn)練，以學(xué)習(xí)環(huán)境的空間和時(shí)間表示。該代理成功地在賽車任務(wù)中駕駛賽道，可以躲避VizDom實(shí)驗(yàn)中怪物射擊的火球。這些任務(wù)對(duì)以前的方法來說太具有挑戰(zhàn)性。 本文的核心思想是什么？ 該解決方案由三個(gè)不同的部分組成：
什么是關(guān)鍵成就？
AI社區(qū)的想法是什么？ 這篇論文在人工智能界被廣泛討論，作為在他們自己的“幻覺”世界中使用神經(jīng)網(wǎng)絡(luò)進(jìn)行強(qiáng)化學(xué)習(xí)和訓(xùn)練代理的一項(xiàng)很好的工作。 未來的研究領(lǐng)域是什么？ 通過用更高容量的型號(hào)替換小型RNN或合并外部存儲(chǔ)器模塊，使代理能夠探索更復(fù)雜的世界。 嘗試更一般的方法，允許分層計(jì)劃，而不是這里提出的“時(shí)間序列”方法。 潛在商業(yè)應(yīng)用？ 當(dāng)運(yùn)行計(jì)算密集型游戲引擎時(shí)，現(xiàn)在可以在其模擬環(huán)境中根據(jù)需要多次訓(xùn)練代理，而不是浪費(fèi)大量計(jì)算資源來訓(xùn)練實(shí)際環(huán)境中的代理。 7.TASKONOMY: DISENTANGLING TASK TRANSFER LEARNING任務(wù)：理解任務(wù)轉(zhuǎn)移學(xué)習(xí)，由Amir R. Zamir，Alexander Sax，William Shen，Leonidas J. Guibas，Jitendra Malik和Silvio Savarese著（2018） https:///abs/1804.08328 原始摘要 視覺任務(wù)之間是否有關(guān)系，或者它們是否無關(guān)？例如，表面法線可以簡(jiǎn)化估算圖像的深度嗎？直覺回答了這些問題，暗示了視覺任務(wù)中存在結(jié)構(gòu)。了解這種結(jié)構(gòu)具有顯著的價(jià)值;它是傳遞學(xué)習(xí)的基本概念，并提供了一種原則性的方法來識(shí)別任務(wù)之間的冗余，例如，無縫地重用相關(guān)任務(wù)之間的監(jiān)督或在一個(gè)系統(tǒng)中解決許多任務(wù)而不會(huì)增加復(fù)雜性。 我們提出了一種完全計(jì)算的方法來建模視覺任務(wù)的空間結(jié)構(gòu)。這是通過在隱空間中的二十六個(gè)2D，2.5D，3D和語義任務(wù)的字典中查找（一階和更高階）傳遞學(xué)習(xí)依賴性來完成的。該產(chǎn)品是用于任務(wù)遷移學(xué)習(xí)的計(jì)算分類地圖。我們研究了這種結(jié)構(gòu)的后果，例如：非平凡的關(guān)系，并利用它們來減少對(duì)標(biāo)簽數(shù)據(jù)的需求。例如，我們表明，解決一組10個(gè)任務(wù)所需的標(biāo)記數(shù)據(jù)點(diǎn)總數(shù)可以減少大約2/3（與獨(dú)立訓(xùn)練相比），同時(shí)保持性能幾乎相同。我們提供了一套用于計(jì)算和探測(cè)這種分類結(jié)構(gòu)的工具，包括用戶可以用來為其用例設(shè)計(jì)有效監(jiān)督策略。 我們的總結(jié) 自從現(xiàn)代計(jì)算機(jī)科學(xué)的早期以來，許多研究人員認(rèn)為在視覺任務(wù)中存在一種結(jié)構(gòu)關(guān)系?，F(xiàn)在Amir Zamir和他的團(tuán)隊(duì)試圖找到這種結(jié)構(gòu)。他們使用完全計(jì)算方法對(duì)其進(jìn)行建模，并在不同的視覺任務(wù)（包括非平凡的任務(wù)）之間發(fā)現(xiàn)許多有用的關(guān)系。他們還表明，通過利用這些相互依賴性，可以實(shí)現(xiàn)相同的模型性能，標(biāo)記數(shù)據(jù)要求大約減少?。 本文的核心思想是什么？ 了解不同視覺任務(wù)之間關(guān)系的模型需要較少的監(jiān)督，使用較少的計(jì)算，并以更可預(yù)測(cè)的方式行事。 發(fā)現(xiàn)視覺任務(wù)之間關(guān)系的完全計(jì)算方法是優(yōu)選的，因?yàn)樗苊鈴?qiáng)加先前的，可能是不正確的假設(shè)：先驗(yàn)來源于人類的直覺或分析知識(shí)，而神經(jīng)網(wǎng)絡(luò)可能在不同的原則上運(yùn)作。 什么是關(guān)鍵成就？
AI社區(qū)的想法是什么？ 該論文獲得了2018年CVPR的最佳論文獎(jiǎng)，這是計(jì)算機(jī)視覺和模式識(shí)別的重要會(huì)議。 結(jié)果非常重要，因?yàn)閷?duì)于大多數(shù)實(shí)際任務(wù)，大規(guī)模標(biāo)記數(shù)據(jù)集不可用。 未來的研究領(lǐng)域是什么？ 擺脫完全由人類定義的視覺任務(wù)模型，并嘗試將人類定義的視覺任務(wù)視為由計(jì)算發(fā)現(xiàn)的潛在子任務(wù)組成的觀察樣本的方法。 探索將結(jié)果轉(zhuǎn)移到不完全視覺任務(wù)的可能性，例如機(jī)器人操縱。 潛在的商業(yè)應(yīng)用？ 本文中發(fā)現(xiàn)的關(guān)系可用于構(gòu)建更有效的視覺系統(tǒng)，這些系統(tǒng)需要較少的標(biāo)記數(shù)據(jù)和較低的計(jì)算成本。 8.KNOW WHAT YOU DON’T KNOW: UNANSWERABLE QUESTIONS FOR SQUAD知道你不知道的事：無法回答問題數(shù)據(jù)集 由SQuAD，Pranav Rajpurkar，Robin Jia和Percy Liang著（2018） https:///abs/1806.03822 原始摘要 提取閱讀理解系統(tǒng)通常可以在上下文文檔中找到問題的正確答案，但是它們也傾向于對(duì)在上下文中沒有陳述正確答案的問題做出不可靠的猜測(cè)。現(xiàn)有數(shù)據(jù)集或者專注于可回答的問題，或者使用易于識(shí)別的自動(dòng)生成的無法回答的問題。為了解決這些弱點(diǎn)，我們提供了SQuAD 2.0，這是斯坦福問答數(shù)據(jù)集（SQuAD）的最新版本。 SQuAD 2.0將現(xiàn)有的SQuAD數(shù)據(jù)與群眾工作者反對(duì)寫的50,000多個(gè)無法回答的問題結(jié)合起來，看起來類似于可回答的問題。為了在SQuAD 2.0上做得好，系統(tǒng)不僅需要盡可能回答問題，還要確定段落何時(shí)不支持答案并且不回答問題。對(duì)于現(xiàn)有模型，SQuAD 2.0是一項(xiàng)具有挑戰(zhàn)性的自然語言理解任務(wù)：在SQUAD 1.1上獲得86％F1的強(qiáng)大神經(jīng)系統(tǒng)在SQuAD 2.0上僅獲得66％的F1。 我們的總結(jié) 斯坦福大學(xué)的一個(gè)研究小組擴(kuò)展了著名的斯坦福問答數(shù)據(jù)集（SQUAD），提出了超過50,000個(gè)難以回答的問題。這些問題的答案在輔助段落中找不到，但這些問題與可回答的問題非常相似。更重要的是，支持段落包含對(duì)這些問題的合理（但不正確）答案。這使得新的SQuAD 2.0對(duì)現(xiàn)有的最先進(jìn)模型極具挑戰(zhàn)性：在引入無法回答的問題之后，一個(gè)強(qiáng)大的神經(jīng)系統(tǒng)在之前版本的SQuAD上達(dá)到86％的準(zhǔn)確率只有66％。 本文的核心思想是什么？ 當(dāng)前的自然語言理解（NLU）系統(tǒng)遠(yuǎn)非真正的語言理解，其中一個(gè)根本原因是現(xiàn)有的Q＆A數(shù)據(jù)集關(guān)注的是在上下文文檔中保證正確答案存在的問題。 要真正具有挑戰(zhàn)性，應(yīng)該創(chuàng)建無法回答的問題，以便：
什么是關(guān)鍵成就？ 通過53,777個(gè)新的無法回答的問題擴(kuò)展SQuAD，從而構(gòu)建具有挑戰(zhàn)性的大規(guī)模數(shù)據(jù)集，迫使NLU系統(tǒng)了解何時(shí)無法根據(jù)上下文回答問題。 通過顯示現(xiàn)有模型（具有66％的準(zhǔn)確性）更接近始終棄權(quán)（48.9％）而非人類準(zhǔn)確性（89.5％）的基線，為NLU系統(tǒng)創(chuàng)建新挑戰(zhàn)。 貌似合理的答案確實(shí)可以作為NLU系統(tǒng)的有效干擾源。 AI社區(qū)的想法是什么？ 該論文被2018年計(jì)算語言學(xué)協(xié)會(huì)（ACL）公布為最佳短篇論文。 新的數(shù)據(jù)集增加了NLU領(lǐng)域的復(fù)雜性，實(shí)際上可以為這個(gè)研究領(lǐng)域產(chǎn)生了巨大的影響和作用力。 未來的研究領(lǐng)域是什么？ 開發(fā)“了解他們不知道的東西”的新模型，從而更好地理解自然語言。 潛在的商業(yè)應(yīng)用？ 在這個(gè)新數(shù)據(jù)集上訓(xùn)練閱讀理解模型應(yīng)該可以改善他們?cè)诂F(xiàn)實(shí)情況下的表現(xiàn)，而這些情景的答案往往無法直接獲得。 9.LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS高保真自然圖像合成的大規(guī)模GAN訓(xùn)練，Andrew Brock，Jeff Donahue和Karen Simonyan（2018） https:///abs/1809.11096 原始摘要 盡管最近在生成圖像建模方面取得了進(jìn)展，但是從像ImageNet這樣的復(fù)雜數(shù)據(jù)集中成功生成高分辨率，多樣化的樣本仍然是一個(gè)難以實(shí)現(xiàn)的目標(biāo)。為此，我們以最大規(guī)模訓(xùn)練了生成性對(duì)抗網(wǎng)絡(luò)，并研究了這種規(guī)模所特有的不穩(wěn)定性。我們發(fā)現(xiàn)將正交正則化應(yīng)用于生成器使得它適合于簡(jiǎn)單的“截?cái)嗉记伞?，允許通過截?cái)酀撛诳臻g來精確控制樣本保真度和多樣性之間的權(quán)衡。我們的修改導(dǎo)致模型在類條件圖像合成中達(dá)到了新的技術(shù)水平。當(dāng)我們?cè)贗mageNet上以128×128分辨率進(jìn)行訓(xùn)練時(shí)，我們的模型（BigGAN）的初始得分（IS）為166.3，F(xiàn)rechet初始距離（FID）為9.6，比之前的最優(yōu)IS為52.52，F(xiàn)ID為18.65有了顯著的提升。 我們的總結(jié) DeepMind團(tuán)隊(duì)發(fā)現(xiàn)，當(dāng)前的技術(shù)足以從可用數(shù)據(jù)集（如ImageNet和JFT-300M）合成高分辨率，多樣化的圖像。特別地，它們表明，如果生成對(duì)抗網(wǎng)絡(luò)（GAN）以非常大的規(guī)模進(jìn)行訓(xùn)練，即使用兩倍到四倍的參數(shù)和八倍于先前實(shí)驗(yàn)的批量大小，它們可以生成看起來非常逼真的圖像。這些大規(guī)模GAN（即BigGAN）是類條件圖像合成中最先進(jìn)的新技術(shù)。 本文的核心思想是什么？ 隨著批量大小和參數(shù)數(shù)量的增加，GAN的性能會(huì)更好。 將正交正則化應(yīng)用于生成器使得模型響應(yīng)于特定技術(shù)（“截?cái)嗉记伞保涮峁?duì)樣本保真度和變化之間的權(quán)衡的控制。 什么是關(guān)鍵成就？ 證明GAN可以從縮放中獲益。 構(gòu)建模型，允許對(duì)樣本種類和保真度之間的權(quán)衡進(jìn)行明確，細(xì)粒度的控制。 發(fā)現(xiàn)大規(guī)模GAN的不穩(wěn)定性并根據(jù)經(jīng)驗(yàn)進(jìn)行表征。 在ImageNet上以128×128分辨率訓(xùn)練的BigGAN實(shí)現(xiàn)：
AI社區(qū)的想法是什么？
未來的研究領(lǐng)域是什么？
潛在的商業(yè)應(yīng)用？ 取代廣告和電子商務(wù)中昂貴的手工媒體創(chuàng)作。 10.BERT: PRE-TRAINING OF DEEP BIDIRECTIONAL TRANSFORMERS FOR LANGUAGE UNDERSTANDINGBERT：用于語言理解的深度雙向變換器的預(yù)訓(xùn)練，由Jacob Devlin，Ming-Wei Chang，Kenton Lee和Kristina Toutanova著（2018） 原始摘要 我們引入了一種名為BERT的新語言表示模型，它代表轉(zhuǎn)換器的雙向編碼器表示。與最近的語言表示模型不同，BERT旨在通過聯(lián)合調(diào)節(jié)所有層中的左右上下文來預(yù)先訓(xùn)練深度雙向表示。因此，預(yù)訓(xùn)練的BERT表示可以通過一個(gè)額外的輸出層進(jìn)行微調(diào)，以創(chuàng)建適用于廣泛任務(wù)的最先進(jìn)模型，例如問答和語言推斷，而無需對(duì)特定任務(wù)的體系結(jié)構(gòu)進(jìn)行大量修改。 BERT在概念上簡(jiǎn)單且經(jīng)驗(yàn)豐富。它獲得了11項(xiàng)自然語言處理任務(wù)的最新成果，包括將GLUE基準(zhǔn)推至80.4％（絕對(duì)改進(jìn)率7.6％），MultiNLI準(zhǔn)確度達(dá)到86.7（絕對(duì)改進(jìn)率5.6％）和SQuAD v1.1問題回答測(cè)試F1到93.2（絕對(duì)改進(jìn)1.5％），超過了人類表現(xiàn)2.0％。 我們的總結(jié) 谷歌 AI 團(tuán)隊(duì)提出了一個(gè)新的前沿自然語言處理模型 BERT。它的設(shè)計(jì)允許模型從每個(gè)單詞的左側(cè)和右側(cè)考慮上下文。在概念上簡(jiǎn)單，BERT在11個(gè)NLP任務(wù)上獲得了新的最先進(jìn)的結(jié)果，包括問題回答，命名實(shí)體識(shí)別和與一般語言理解相關(guān)的其他任務(wù)。 本文的核心思想是什么？ 通過隨機(jī)屏蔽一定比例的輸入令牌來訓(xùn)練深度雙向模型，從而避免詞語間接“看到自己”的周期。 還通過構(gòu)建簡(jiǎn)單的二進(jìn)制分類任務(wù)來預(yù)訓(xùn)練句子關(guān)系模型，以預(yù)測(cè)句子B是否緊跟在句子A之后，從而允許BERT更好地理解句子之間的關(guān)系。 訓(xùn)練一個(gè)非常大的模型（24個(gè)Transformer塊，1024個(gè)隱藏，340M參數(shù)）和大量數(shù)據(jù)（33億語料庫）。 什么是關(guān)鍵成就？ 推進(jìn)11項(xiàng)NLP任務(wù)的最新技術(shù)，包括：
AI社區(qū)的想法是什么？ BERT模型標(biāo)志著NLP的新時(shí)代。 簡(jiǎn)而言之，兩個(gè) 無監(jiān)督任務(wù)一起訓(xùn)練（“填空”和“句子 B 是不是緊接句子 A”）對(duì)于很多 NLP 任務(wù)都取得了很好的結(jié)果。 語言模型的預(yù)訓(xùn)練成為一種新標(biāo)準(zhǔn)。 未來的研究領(lǐng)域是什么？
潛在的商業(yè)應(yīng)用？ BERT可以幫助企業(yè)解決各種NLP問題，包括：
|
|
|
