研究人員表示，目前形式的深度神經(jīng)網(wǎng)絡(luò)似乎不太可能是未來建立通用智能機(jī)器或理解思維/人類大腦的最佳解決方案，但深度學(xué)習(xí)的很多機(jī)制在未來仍會(huì)繼續(xù)存在。 本文是《Deep Nets: What have they ever done for Vision?》論文的精簡版。
深度學(xué)習(xí)的歷史 我們現(xiàn)在正目睹的是人工智能的第三次崛起。前兩波發(fā)生在 1950-1960 年代和 1980-1990 年代——當(dāng)時(shí)都產(chǎn)生了相當(dāng)大的影響，卻也都慢慢冷卻下來。這是因?yàn)楫?dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)既沒有實(shí)現(xiàn)本該達(dá)成的性能提升，也沒有幫助我們理解生物的視覺系統(tǒng)。第三次浪潮：21 世紀(jì)初——至今，此次與前兩次不同，深度學(xué)習(xí)在很多基準(zhǔn)測試和現(xiàn)實(shí)應(yīng)用上已經(jīng)大幅超越了生物的能力。雖然深度學(xué)習(xí)的大多數(shù)基本思想在第二次浪潮中已經(jīng)發(fā)展完善，但其能力在大型數(shù)據(jù)集和計(jì)算機(jī)算力（特別是 GPU）發(fā)展完善之前是無法釋放的。 深度學(xué)習(xí)的沉浮反映了學(xué)派的流行，以及不同算法的熱度。第二次浪潮讓我們在高期待——低成果的發(fā)展中看到了經(jīng)典 AI 的局限性，這就是在 20 世紀(jì) 80 年代中期出現(xiàn) AI 寒冬的原因。第二波浪潮的退卻轉(zhuǎn)化為支持向量機(jī)、內(nèi)核方法以及相關(guān)方法的崛起。我們被神經(jīng)網(wǎng)絡(luò)研究者的成果驚艷，盡管其效果令人失望，但隨著時(shí)間的發(fā)展，它們又再次興起。今天，我們很難找到與神經(jīng)網(wǎng)絡(luò)無關(guān)的研究了——這同樣也不是一個(gè)好的現(xiàn)象。我們不禁有些懷疑：如果人工智能領(lǐng)域的學(xué)者們追求更多不同的方法，而不是跟從流行趨勢，這個(gè)行業(yè)或許會(huì)發(fā)展得更快。令人擔(dān)憂的是，人工智能專業(yè)的學(xué)生們經(jīng)常完全忽略舊技術(shù)，只顧追逐新趨勢。 成功與失敗 在 AlexNet 橫空出世之前，計(jì)算機(jī)視覺社區(qū)對于深度學(xué)習(xí)持懷疑態(tài)度。2011 年，AlexNet 在 ImageNet 圖像識別競賽中橫掃了所有競爭對手，隨后幾年，研究人員提出了越來越多性能更好的對象分類神經(jīng)網(wǎng)絡(luò)架構(gòu)。同時(shí)，深度學(xué)習(xí)也很快適應(yīng)了其他視覺任務(wù)，如目標(biāo)檢測，其中圖像包含一個(gè)或多個(gè)物體。在這種任務(wù)中，神經(jīng)網(wǎng)絡(luò)會(huì)對初始階段的信息進(jìn)行增強(qiáng)而確定最后的目標(biāo)類別與位置，其中初始階段提出了對象的可能位置和大小。這些方法在 ImageNet 前最為重要的目標(biāo)識別競賽——PASCAL 目標(biāo)識別挑戰(zhàn)上優(yōu)于此前的最佳方式，即可變形部件模型（Deformable Part Model）。其他深度學(xué)習(xí)架構(gòu)也在一些經(jīng)典任務(wù)上有了很大的提升，如下圖： 圖 1. 深度學(xué)習(xí)可以執(zhí)行很多不同視覺任務(wù)。其中包括邊界檢測、語義分割、語義邊界、曲面法線、顯著度、人體，以及目標(biāo)檢測。 但是，盡管深度學(xué)習(xí)超越了此前的一些技術(shù)，它們卻并不能用于通用任務(wù)。在這里，我們可以定義出三個(gè)主要限制。 首先，深度學(xué)習(xí)幾乎總是需要大量標(biāo)注數(shù)據(jù)。這使得計(jì)算機(jī)視覺的研究者們傾向于解決易于解決——而不是真正重要的問題。 有一些方法可以減少監(jiān)督的需求，包括遷移學(xué)習(xí)、few-shot 學(xué)習(xí)、無監(jiān)督學(xué)習(xí)以及弱監(jiān)督學(xué)習(xí)。但到目前為止，它們的成就并不如監(jiān)督學(xué)習(xí)那樣令人印象深刻。 第二，深度學(xué)習(xí)在基準(zhǔn)測試數(shù)據(jù)集上表現(xiàn)良好，但在數(shù)據(jù)集之外的真實(shí)世界圖像上可能表現(xiàn)很差。所有數(shù)據(jù)集都有自己的偏差。這種偏差在早期視覺數(shù)據(jù)集中非常明顯，研究人員發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)會(huì)利用數(shù)據(jù)集的偏差「投機(jī)取巧」，比如利用背景進(jìn)行判斷（如在 Caltech101 中檢測魚曾經(jīng)非常容易，因?yàn)轸~圖是唯一以水為背景的圖）。盡管通過使用大數(shù)據(jù)集和深度神經(jīng)網(wǎng)絡(luò)可以減少這一現(xiàn)象，但問題仍然存在。 在下圖中，深度神經(jīng)網(wǎng)絡(luò)在 ImageNet 上訓(xùn)練以識別沙發(fā)，但卻可能因?yàn)槭纠龍D片數(shù)量不足而無法成功。深度神經(jīng)網(wǎng)絡(luò)是偏向于反「特殊情況」的，模型不會(huì)太考慮數(shù)據(jù)集中出現(xiàn)較少的情況。但在現(xiàn)實(shí)世界的應(yīng)用中，這些偏差很成問題，將這樣的系統(tǒng)用于視覺檢測有可能導(dǎo)致嚴(yán)重后果。例如用于訓(xùn)練自動(dòng)駕駛汽車的數(shù)據(jù)集幾乎不會(huì)包含坐在路中間的嬰兒。 圖 2：UnrealCV 允許視覺研究人員簡單操縱合成場景，比如改變沙發(fā)的視角。我們發(fā)現(xiàn) Faster-RCNN 檢測沙發(fā)的平均精度（AP）在 0.1 到 1.0 范圍內(nèi)，顯示出對視角的極度敏感性。這可能是因?yàn)橛?xùn)練中的偏差導(dǎo)致 Faster-RCNN 更傾向于特定的視角。 第三，深度網(wǎng)絡(luò)對圖像的改變過于敏感，而這些改變在人類看來可能并不影響對圖的判斷。深度網(wǎng)絡(luò)不僅對標(biāo)準(zhǔn)對抗攻擊（會(huì)導(dǎo)致難以察覺的圖像變化）敏感，而且對環(huán)境的變化也過于敏感。圖 3 顯示了將吉他 PS 成雨林中的猴子的效果。這導(dǎo)致深度網(wǎng)絡(luò)將猴子誤識為人類而且將吉他視作鳥，大概是因?yàn)槟眉母锌赡苁侨祟惗皇呛镒?，而出現(xiàn)在雨林里猴子身邊的更有可能是鳥而不是吉他。最近的研究給出了很多關(guān)于深度網(wǎng)絡(luò)對環(huán)境過于敏感的案例，如將大象放進(jìn)房間。 圖 3：添加遮擋致使深度網(wǎng)絡(luò)失靈。左：用摩托車進(jìn)行遮擋后，深度網(wǎng)絡(luò)將猴子識別為人類。中：用自行車進(jìn)行遮擋后，深度網(wǎng)絡(luò)將猴子識別為人類，而且叢林將網(wǎng)絡(luò)對車把的識別誤導(dǎo)為鳥。右：用吉他進(jìn)行遮擋后，深度網(wǎng)絡(luò)將猴子識別為人類，而且叢林將網(wǎng)絡(luò)對吉他的識別誤導(dǎo)為鳥。 對背景的過度敏感可以歸咎于數(shù)據(jù)集有限的規(guī)模。對于任意的對象，數(shù)據(jù)集中只能包含有限數(shù)量的背景，因此神經(jīng)網(wǎng)絡(luò)存在偏好。例如，在早期的圖像標(biāo)注數(shù)據(jù)集中，我們觀察到長頸鹿只會(huì)出現(xiàn)在樹的附近，因此生成的標(biāo)注沒有提及圖像中沒有樹的長頸鹿，盡管它們是最主要的對象。 對于深度網(wǎng)絡(luò)等數(shù)據(jù)驅(qū)動(dòng)型方法來說，捕獲背景大量變化的難題以及探索大量噪聲因素的需要是一個(gè)很大的問題。確保網(wǎng)絡(luò)可以解決所有這些問題似乎需要無窮大的數(shù)據(jù)集，這又會(huì)給訓(xùn)練和測試數(shù)據(jù)集帶來巨大的挑戰(zhàn)。 「大型數(shù)據(jù)集」還不夠大 組合性爆炸 以上所提到的所有問題都未必是深度學(xué)習(xí)的癥結(jié)所在，但它們是真正問題的早期信號。也就是說，現(xiàn)實(shí)世界中的圖像數(shù)據(jù)集組合起來非常大，因此無論多大的數(shù)據(jù)集都無法表征現(xiàn)實(shí)世界的復(fù)雜性。 組合性大是什么意思？想象一下通過從目標(biāo)字典中選擇目標(biāo)并將它們放在不同的配置中來構(gòu)建一個(gè)可視場景。實(shí)現(xiàn)這一任務(wù)的方法數(shù)量可以達(dá)到指數(shù)級。即使是含有單個(gè)目標(biāo)的圖像也能擁有類似的復(fù)雜性，因?yàn)槲覀兛梢杂脽o數(shù)種方法對其進(jìn)行遮擋。其背景也有無數(shù)種變化的可能。 盡管人類能夠自然地適應(yīng)視覺環(huán)境中的種種變化，但深度神經(jīng)網(wǎng)絡(luò)更加敏感、易錯(cuò)，如圖 3 所示。我們注意到，這種組合性爆炸在一些視覺任務(wù)中可能不會(huì)出現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像中的應(yīng)用通常非常成功，因?yàn)槠浔尘暗淖兓鄬^少（如胰腺和十二指腸總是離得很近）。但是對于許多應(yīng)用來說，如果沒有一個(gè)指數(shù)級的大型數(shù)據(jù)集，我們就無法捕捉到現(xiàn)實(shí)世界的復(fù)雜性。 這一缺陷帶來了一些重大問題，因?yàn)樵谟邢揠S機(jī)樣本上進(jìn)行訓(xùn)練、測試模型這一標(biāo)準(zhǔn)范式變得不切實(shí)際。這些樣本量永遠(yuǎn)無法大到可以表征數(shù)據(jù)底層分布的程度。因此我們不得不面對以下兩個(gè)新問題： 1. 在需要龐大數(shù)據(jù)集才能捕獲現(xiàn)實(shí)世界組合復(fù)雜性的任務(wù)中，如何在規(guī)模有限的數(shù)據(jù)集上訓(xùn)練算法才能使其表現(xiàn)良好？ 2. 如果只能在有限子集上測試，我們?nèi)绾尾拍苡行y試這些算法以確保它們在龐大數(shù)據(jù)集上表現(xiàn)良好？ 克服組合性爆炸 從現(xiàn)有形式來看，深度神經(jīng)網(wǎng)絡(luò)等方法很可能無法克服組合性爆炸這一難題。無論是訓(xùn)練還是測試，數(shù)據(jù)集似乎永遠(yuǎn)不夠大。以下是一些潛在的解決方案。 組合性 組合性是一種基本原則，可以詩意地表述為「一種信仰的體現(xiàn)，相信世界是可知的，人類可以拆解、理解并按照自己的意愿重組事物」。此處的關(guān)鍵假設(shè)在于，結(jié)構(gòu)是分層的，由更基本的子結(jié)構(gòu)按照一組語法規(guī)則組合而成。這意味著，子結(jié)構(gòu)和語法可以從有限的數(shù)據(jù)中習(xí)得，然后泛化到組合的場景中。 與深度網(wǎng)絡(luò)不同，組合性模型（compositional model）需要結(jié)構(gòu)化的表征，這些表征明確地表明其結(jié)構(gòu)和子結(jié)構(gòu)。組合性模型具備超越所見數(shù)據(jù)的推理能力，可以推理系統(tǒng)、進(jìn)行干涉、實(shí)施診斷并基于相同的底層知識結(jié)構(gòu)解決許多不同的問題。Stuart Geman 曾說過，「世界是組合的，或者說上帝是存在的，」否則上帝就要手工焊接人類智能了。盡管深度神經(jīng)網(wǎng)絡(luò)擁有某種形式的復(fù)雜性，如高級特征由來自低級特征的響應(yīng)組合而成，但這并不是本文中提到的組合性。 圖 4：從（a）到（c），可變性遞增并使用了遮擋。（c）是一個(gè)龐大的組合數(shù)據(jù)集示例，本質(zhì)上和驗(yàn)證碼相同。有趣的是，關(guān)于驗(yàn)證碼的研究表明，組合性模型的性能很好，但深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)卻很差。 圖 4 是關(guān)于組合性的一個(gè)示例，與合成分析有關(guān)。 組合性模型的若干概念優(yōu)勢已經(jīng)體現(xiàn)在一些視覺問題中，如使用相同的底層模型執(zhí)行多個(gè)任務(wù)和識別驗(yàn)證碼。其它非視覺示例也表明了相同的論點(diǎn)。嘗試訓(xùn)練進(jìn)行智商測試的深度網(wǎng)絡(luò)沒有取得成功。這一任務(wù)的目標(biāo)是預(yù)測一個(gè) 3x3 網(wǎng)格中缺失的圖像，其它 8 個(gè)格子的圖像都已給出，任務(wù)中的底層規(guī)則是組合性的（干擾可以存在）。相反地，對于一些自然語言應(yīng)用，神經(jīng)模塊網(wǎng)絡(luò)的動(dòng)態(tài)架構(gòu)似乎足夠靈活，可以捕捉到一些有意義的組合，其性能優(yōu)于傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)。實(shí)際上，我們最近證實(shí)，經(jīng)過聯(lián)合訓(xùn)練后，各個(gè)模塊確實(shí)實(shí)現(xiàn)了它們預(yù)期的組合功能（如 AND、OR、FILTER(RED) 等）。 組合性模型有很多理想的理論特性，如可解釋、可生成樣本。這使得錯(cuò)誤更容易診斷，因此它們比深度網(wǎng)絡(luò)等黑箱方法更難被欺騙。但學(xué)習(xí)組合性模型很難，因?yàn)樗枰獙W(xué)習(xí)構(gòu)件和語法（甚至語法的性質(zhì)也是有爭議的）。并且，為了通過合成進(jìn)行分析，它們需要擁有目標(biāo)和場景結(jié)構(gòu)的生成模型。除了一些例外，如臉、字母和規(guī)則紋理圖像，將分布放在圖像上很難。 更重要的是，處理組合性爆炸需要學(xué)習(xí) 3D 世界的因果模型以及這些模型如何生成圖像。對人類嬰兒的研究表明，他們通過建立預(yù)測所處環(huán)境結(jié)構(gòu)的因果模型來學(xué)習(xí)。這種因果理解使他們能夠從有限的數(shù)據(jù)中學(xué)習(xí)并泛化到新環(huán)境中。這類似于將牛頓定律和太陽系的托勒密模型進(jìn)行對比，牛頓定律以最少的自由參數(shù)給出了因果理解，而托勒密模型給出了非常準(zhǔn)確的預(yù)測，但需要大量的數(shù)據(jù)來確定其細(xì)節(jié)。 在組合數(shù)據(jù)上測試 在現(xiàn)實(shí)世界的組合復(fù)雜度上測試視覺算法的一個(gè)潛在挑戰(zhàn)是，我們只能在有限的數(shù)據(jù)上進(jìn)行測試。博弈論通過關(guān)注最壞的案例而不是一般的案例來解決這個(gè)問題。正如我們之前所說的，如果數(shù)據(jù)集沒有捕捉到問題的組合復(fù)雜度，那么一般案例在有限大小數(shù)據(jù)集上的結(jié)果可能沒有意義。很明顯，如果目標(biāo)是開發(fā)用于自動(dòng)駕駛汽車或醫(yī)學(xué)圖像中診斷癌癥的視覺算法，那將注意力放在最壞的案例上是有意義的，因?yàn)樗惴ǖ氖?huì)導(dǎo)致嚴(yán)重的后果。 如果能夠在低維空間中捕捉故障模式，如立體的危險(xiǎn)因素，我們就可以用計(jì)算機(jī)圖形和網(wǎng)格搜索來研究它們。但對于大多數(shù)視覺任務(wù)，尤其是涉及組合數(shù)據(jù)的任務(wù)來說，很難識別出少數(shù)可以被隔離或測試的危險(xiǎn)因素。一個(gè)策略是將標(biāo)準(zhǔn)對抗攻擊的概念擴(kuò)展到包含非局部結(jié)構(gòu)，這可以通過允許導(dǎo)致圖像或場景改變但不會(huì)顯著影響人類感知的復(fù)雜操作（如遮擋或改變被觀察物體的物理屬性）來實(shí)現(xiàn)。將這一策略應(yīng)用于處理組合數(shù)據(jù)的視覺算法仍然頗具挑戰(zhàn)性。但，如果在設(shè)計(jì)算法時(shí)考慮到了組合性，那它們的顯式結(jié)構(gòu)可能使得診斷并確定它們的故障模式成為可能。 小結(jié) 幾年前，Aude Oliva 和 Alan Yuille（一作）共同組織了一場由美國國家科學(xué)基金會(huì)資助的計(jì)算機(jī)視覺前沿研討會(huì)（MIT CSAIL 2011）。會(huì)議鼓勵(lì)大家坦誠交換意見。與會(huì)人員對于深度網(wǎng)絡(luò)在計(jì)算機(jī)視覺方面的潛力存在巨大分歧。Yann LeCun 大膽預(yù)測，所有人都將很快使用深度網(wǎng)絡(luò)。他的預(yù)測是對的。深度網(wǎng)絡(luò)的成功令人矚目，還使計(jì)算機(jī)視覺變得非常熱門，大大增加了學(xué)界和業(yè)界的互動(dòng)，促使計(jì)算機(jī)視覺被應(yīng)用于很多領(lǐng)域并帶來很多其它重要的研究成果。即便如此，深度網(wǎng)絡(luò)還存在巨大挑戰(zhàn)，而我們要實(shí)現(xiàn)通用人工智能和理解生物視覺系統(tǒng)，就必須克服這些挑戰(zhàn)。我們的一些擔(dān)憂與最近對深度網(wǎng)絡(luò)的批評中提到的類似。隨著研究人員開始在越來越現(xiàn)實(shí)的條件下處理越來越復(fù)雜的視覺任務(wù)，可以說最嚴(yán)峻的挑戰(zhàn)是如何開發(fā)能夠處理組合性爆炸的算法。雖然深度網(wǎng)絡(luò)會(huì)是解決方案的一部分，但我們認(rèn)為還需要涉及組合原則和因果模型的互補(bǔ)方法，以捕捉數(shù)據(jù)的基本結(jié)構(gòu)。此外，面對組合性爆炸，我們要再次思考如何訓(xùn)練和評估視覺算法。 原文鏈接：https:///the-limitations-of-visual-deep-learning-and-how-we-might-fix-them/ 本文為機(jī)器之心編譯，轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán)。 ?------------------------------------------------ 加入機(jī)器之心（全職記者 / 實(shí)習(xí)生）：hr@jiqizhixin.com 投稿或?qū)で髨?bào)道：content@jiqizhixin.com 廣告 & 商務(wù)合作：bd@jiqizhixin.com |
|
|
