沒有人真的知道最先進(jìn)的算法如何思考，這可能是一個可怕問題。
一年前，一輛奇怪的自駕車被釋放到新澤西州蒙茅斯縣的寧靜道路上。由芯片制造商N(yùn)vidia的研究人員開發(fā)的實驗車輛與其他自主汽車并沒有什么不同，但與Google，特斯拉或通用汽車公司所展示的不同，它顯示了人造智能的上升。汽車沒有遵循由工程師或程序員提供的單一指令。相反，它完全依賴于通過觀察人類來教導(dǎo)自己駕駛的算法。

開車是一個令人印象深刻的壯舉。但這也有點令人不安，因為汽車做出決定并不完全清楚。來自車輛傳感器的信息直接進(jìn)入人造神經(jīng)元的巨大網(wǎng)絡(luò)，處理數(shù)據(jù)，然后傳遞操作方向盤，制動器和其他系統(tǒng)所需的命令。結(jié)果似乎與您期望從人類驅(qū)動程序的響應(yīng)相匹配。但是，如果有一天它做了一些意想不到的事情撞上一棵樹，或者停綠燈上呢？現(xiàn)在，現(xiàn)在可能很難找出原因。該系統(tǒng)非常復(fù)雜，即使是設(shè)計它的工程師也在嘗試解釋他的行為成因。你不法找到答案：設(shè)計這樣一個系統(tǒng)是明顯的方法總能解釋為什么它做了某件事情。

這輛車的神秘思想指出人造智能的一個迫在眉睫的問題。汽車的底層AI技術(shù)，被稱為深度學(xué)習(xí)，近年來在解決問題上已經(jīng)被證明是非常有力的，它已被廣泛應(yīng)用于圖像字幕，語音識別和語言翻譯等任務(wù)?，F(xiàn)在希望同樣的技術(shù)能夠診斷致命的疾病，做出百萬美元的交易決定，并且做無數(shù)的其他事情來改變整個行業(yè)。
但這不會發(fā)生 - 或者不應(yīng)該發(fā)生 - 除非我們找到方法，使深入學(xué)習(xí)的技術(shù)更容易理解為創(chuàng)作者，并對其用戶負(fù)責(zé)。否則，難以預(yù)測何時會發(fā)生故障，而且這是不可避免的。 Nvidia的車仍然是試驗的一個原因。

已經(jīng)使用數(shù)學(xué)模型來幫助確定誰做假釋，誰被批準(zhǔn)貸款，以及誰被聘請工作。如果您可以訪問這些數(shù)學(xué)模型，可以了解他們的推理。但是銀行，軍方，雇主和其他人正在將注意力轉(zhuǎn)向更復(fù)雜的機(jī)器學(xué)習(xí)方法，這樣可以使自動化決策完全不可思議。深入學(xué)習(xí)，最常見的這些方法，代表了一種根本不同的計算機(jī)程序。麻省理工學(xué)院教授塔米·賈科科拉（Tommi Jaakkola）說：“這是一個已經(jīng)相關(guān)的問題，未來將會更加相關(guān)?！?“無論是投資決定，醫(yī)療決定還是軍事決定，您都不希望只依靠”黑匣子“的方法。

已經(jīng)有一個論點，能夠詢問人工智能系統(tǒng)，如何達(dá)成結(jié)論是一項基本的法律權(quán)利。從2018年夏天開始，歐盟可能要求公司能夠給用戶解釋自動化系統(tǒng)達(dá)到的決策。即使對于表面上相對簡單的系統(tǒng)，例如使用深度學(xué)習(xí)來投放廣告或推薦歌曲的應(yīng)用程序和網(wǎng)站，這恐怕不可能。運(yùn)行這些服務(wù)的計算機(jī)已經(jīng)進(jìn)行了編程，并且已經(jīng)以我們無法理解的方式完成了這些。即使構(gòu)建這些應(yīng)用程序的工程師也無法完全解釋他們的行為。

這引起了令人難以置信的問題。隨著技術(shù)的進(jìn)步，我們可能很快會跨越一個門檻，超過這個閾值，使用AI需要一個信念的飛躍。當(dāng)然，我們?nèi)祟愐膊荒芸偸钦嬲亟忉屛覀兊乃枷脒^程，但是我們可以直觀地信任和衡量人們。這樣做也可能與想像和做出決定的機(jī)器與人類的方式不同嗎？我們從未建造以創(chuàng)作者不明白的方式運(yùn)作的機(jī)器。我們可以期待如何溝通，并與智能機(jī)器相提并論，這些機(jī)器可能是不可預(yù)知和難以置信的？這些問題讓我走上了AI算法研究的出路，從谷歌到蘋果和許多地方，包括與當(dāng)時偉大的哲學(xué)家之間的會議。

2015年，紐約西奈山醫(yī)院的一個研究小組受到啟發(fā)，將深入學(xué)習(xí)應(yīng)用于醫(yī)院龐大的患者記錄數(shù)據(jù)庫。該數(shù)據(jù)集包含數(shù)百個患者變量，從測試結(jié)果，醫(yī)生訪問等方面。研究人員命名為Deep Patient（深井病人）的結(jié)果程序使用來自約70萬個人的數(shù)據(jù)進(jìn)行了培訓(xùn)，當(dāng)在新記錄上進(jìn)行測試時，它在預(yù)測疾病方面證明是非常好的。沒有任何專家指導(dǎo)，Deep Patient發(fā)現(xiàn)隱藏在醫(yī)院數(shù)據(jù)中的模式，似乎表明人們正在前往廣泛的疾病，包括肝癌。引導(dǎo)西奈山隊的Joel Dudley說，有很多方法在預(yù)測患者記錄中的疾病方面“相當(dāng)不錯”。但他補(bǔ)充說：“這只是更好?！?br>同時，深度患者有點令人費解。似乎預(yù)料精神分裂癥如精神分裂癥的出現(xiàn)令人驚訝。但是由于精神分裂癥對于醫(yī)生來說是非常困難的，所以達(dá)德利想知道這是否可能的。他還不確定——這個新工具沒有提供任何線索。如果像Deep Patient這樣的事情實際上會幫助醫(yī)生，那么理想的情況就是給予他們預(yù)測的理由，讓他們確信它是準(zhǔn)確的，并證明有人正在處方藥的變化。 “我們可以建立這些模型，”達(dá)德利說，“但我們不知道他們?nèi)绾喂ぷ鳌！?/p>

人造智能并不總是這樣的。從一開始，AI就應(yīng)該是可以理解的或可以解釋的。許多人認(rèn)為最有意義的是構(gòu)建根據(jù)規(guī)則和邏輯推理的機(jī)器，使其內(nèi)部工作對任何關(guān)心審查一些代碼的人都是透明的。其他人認(rèn)為，如果機(jī)器從生物學(xué)中獲得靈感，并通過觀察和體驗學(xué)習(xí)，情報就會更容易出現(xiàn)。這意味著將電腦編程放在頭上。程序員不用編寫命令來解決問題，而是根據(jù)示例數(shù)據(jù)和期望的輸出生成自己的算法。后來演變成當(dāng)今最強(qiáng)大的AI系統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)遵循后一種途徑：機(jī)器本身是程序本身。

起初這種做法的實際應(yīng)用是有限的，而在六十年代和七十年代，它仍然主要局限于該領(lǐng)域的邊緣。那么許多行業(yè)的電腦化和大數(shù)據(jù)集的出現(xiàn)又引起了人們的興趣。這激發(fā)了更強(qiáng)大的機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，特別是被稱為人造神經(jīng)網(wǎng)絡(luò)的新版本。到20世紀(jì)90年代，神經(jīng)網(wǎng)絡(luò)可以自動數(shù)字化手寫字符。

但是，直到這個十年的開始，經(jīng)過幾次巧妙的調(diào)整和改進(jìn)，那么非常大或“深”的網(wǎng)絡(luò)網(wǎng)絡(luò)顯示出自動感知的顯著改進(jìn)。深入學(xué)習(xí)對今天AI的爆炸負(fù)責(zé)。它賦予了計算機(jī)非凡的力量，就像能夠識別口語幾乎和一個人一樣，這個技能太復(fù)雜，無法用手編碼到機(jī)器中。深刻的學(xué)習(xí)改變了計算機(jī)視覺，大大提高了機(jī)器翻譯?，F(xiàn)在正用于指導(dǎo)醫(yī)藥，金融，制造業(yè)等方面的各種關(guān)鍵決策。
任何機(jī)器學(xué)習(xí)技術(shù)的工作本質(zhì)上比手工編碼系統(tǒng)更不透明，甚至對計算機(jī)科學(xué)家來說也是不透明的。這并不是說所有未來的AI技術(shù)將同樣不可知。但是由于其本質(zhì)，深刻的學(xué)習(xí)是一個特別黑暗的黑匣子。

你不能只是看一下深層神經(jīng)網(wǎng)絡(luò)，看看它是如何工作的。網(wǎng)絡(luò)的推理嵌入到成千上萬個模擬神經(jīng)元的行為中，排列成數(shù)十甚至數(shù)百個錯綜復(fù)雜的互連層。第一層中的神經(jīng)元各自接收輸入，如圖像中的像素的強(qiáng)度，然后在輸出新信號之前進(jìn)行計算。這些輸出在復(fù)雜網(wǎng)絡(luò)中被饋送到下一層中的神經(jīng)元，等等，直到產(chǎn)生總體輸出。此外，還有一個稱為反向傳播的過程，以一種使網(wǎng)絡(luò)學(xué)習(xí)產(chǎn)生所需輸出的方式來調(diào)整單個神經(jīng)元的計算。

深層網(wǎng)絡(luò)中的許多層次使其能夠識別不同抽象層次的事物。例如，在旨在識別狗的系統(tǒng)中，較低層識別簡單的東西，如輪廓或顏色;更高層識別更復(fù)雜的東西，如毛皮或眼睛;最頂層將其全部標(biāo)識為狗。粗略地說，相同的方法可以應(yīng)用于引導(dǎo)機(jī)器教導(dǎo)自己的其他輸入：構(gòu)成語音中的單詞的聲音，在文本中創(chuàng)建句子的字母和單詞，或駕駛所需的方向盤運(yùn)動。
“這可能是智力本質(zhì)的一部分，只有其中的一部分才能被理性地解釋。有些只是本能的?！?br>已經(jīng)使用巧妙的策略來捕獲并因此更詳細(xì)地解釋了這樣的系統(tǒng)發(fā)生了什么。 2015年，Google的研究人員修改了基于深度學(xué)習(xí)的圖像識別算法，以便不會在照片中發(fā)現(xiàn)對象，而是會生成或修改它們。通過有效地運(yùn)行算法，他們可以發(fā)現(xiàn)程序用來識別鳥類或建筑物的特征。由一個名為“深夢”的項目產(chǎn)生的圖像顯示出從云和植物出現(xiàn)的怪異的外星人動物，以及在森林和山脈上綻放的幻覺塔。這些圖像證明，深刻的學(xué)習(xí)不一定是完全不可思議的;他們透露，算法歸功于熟悉的視覺特征，如鳥的喙或羽毛。但是，這些圖像也暗示了人類知覺的不同深度學(xué)習(xí)的不同之處，因為它可能會使我們知道忽略的一件事情擺脫出來。谷歌研究人員指出，當(dāng)它的算法產(chǎn)生一個啞鈴的圖像時，它也產(chǎn)生了一個持有它的人類手臂。機(jī)器得出結(jié)論，一只手臂是這件事的一部分。

使用神經(jīng)科學(xué)和認(rèn)知科學(xué)借鑒的思想進(jìn)一步取得進(jìn)展。由懷俄明大學(xué)助理教授杰夫·克倫（Jeff Clune）領(lǐng)導(dǎo)的一個團(tuán)隊，采用AI相當(dāng)于幻覺來測試深層神經(jīng)網(wǎng)絡(luò)。 2015年，Clune的小組展示了某些圖像如何愚弄這樣一個網(wǎng)絡(luò)來感知不在的東西，因為這些圖像利用了系統(tǒng)搜索的低級模式。 Clune的合作者之一，Jason Yosinski也建立了一個工具，像一個探針卡在大腦中。他的工具瞄準(zhǔn)網(wǎng)絡(luò)中間的任何神經(jīng)元，并搜索最多激活它的圖像。呈現(xiàn)的圖像是抽象的（想象一個印象派在火烈鳥或校車上），突出了機(jī)器的感性能力的神秘性質(zhì)。

然而，我們需要的不僅僅是AI的想法，也沒有簡單的解決方案。深層神經(jīng)網(wǎng)絡(luò)中的計算的相互作用對于更高層次的模式識別和復(fù)雜的決策是至關(guān)重要的，但是這些計算是數(shù)學(xué)函數(shù)和變量的泥。。 “如果你有一個非常小的神經(jīng)網(wǎng)絡(luò)，你可能可以理解它，”Jaakkola說。 “但是，一旦它變得非常大，它每層有幾千個單位，也可能有數(shù)百層，那么這是不可理解的。”

在Jaakkola旁邊的辦公室是麻省理工學(xué)院教授Regina Barzilay，他決心將機(jī)器學(xué)習(xí)應(yīng)用于醫(yī)學(xué)。幾年前，她在43歲時被診斷患有乳腺癌。診斷本身令人震驚，但是Barzilay也感到失望的是，前瞻性的統(tǒng)計學(xué)和機(jī)器學(xué)習(xí)方法沒有被用來幫助腫瘤研究或指導(dǎo)病人治療。她說，AI具有巨大的革命醫(yī)學(xué)潛力，但意識到這一潛力意味著超越醫(yī)療記錄。她設(shè)想使用更多的原始數(shù)據(jù)，她說目前未得到充分利用：“成像數(shù)據(jù)，病理數(shù)據(jù)，所有這些信息”。
去年完成癌癥治療后，Barzilay和她的學(xué)生開始與馬薩諸塞州總醫(yī)院的醫(yī)生合作開發(fā)一個能夠開采病理學(xué)報告的系統(tǒng)，以確定研究人員可能想要研究的特定臨床特征的患者。然而，Barzilay理解，該系統(tǒng)需要解釋其推理。所以，與Jaakkola和一個學(xué)生一起，她增加了一個步驟：系統(tǒng)提取和突出顯示代表其發(fā)現(xiàn)的模式的文本片段。 Barzilay和她的學(xué)生們也在開發(fā)一種能夠在乳房X線照片圖像中發(fā)現(xiàn)乳腺癌早期癥狀的深度學(xué)習(xí)算法，并且旨在給予該系統(tǒng)一些解釋其推理能力的能力。 “你真的需要一個機(jī)器和人類合作的循環(huán)，”-Barzilay說。

美國軍方正花費數(shù)十億美元投入于使用AI學(xué)習(xí)如何飛行駕駛，確定目標(biāo)，并幫助分析人員篩選大量情報數(shù)據(jù)。在這里，除了其他任何地方，甚至超過了醫(yī)學(xué)，還沒有算法神秘的空間，國防部已將可解釋性認(rèn)定為關(guān)鍵的絆腳石。
國防高級研究計劃署的項目經(jīng)理David Gunning正在監(jiān)督適當(dāng)?shù)目山忉屓斯ぶ悄苡媱?。該機(jī)構(gòu)的銀發(fā)老將曾經(jīng)監(jiān)督DARPA項目，最終導(dǎo)致Siri的創(chuàng)立，Gunning說自動化正在爬進(jìn)無數(shù)的軍事領(lǐng)域。情報分析師正在測試機(jī)器學(xué)習(xí)，作為識別大量監(jiān)控數(shù)據(jù)模式的一種方式。許多自主地面車輛和飛機(jī)正在開發(fā)和測試。但士兵們對機(jī)器人坦克來說也不會感到舒服，這并不能解釋自己，分析人士也不愿意在沒有推理的情況下對信息采取行動。 “這些機(jī)器學(xué)習(xí)系統(tǒng)的性質(zhì)通常會產(chǎn)生大量的虛假警報，所以英特爾分析師真的需要額外的幫助才能理解為什么要做出建議，”Gunning說。

今年三月，DARPA選擇了13個來自學(xué)術(shù)界和行業(yè)的項目，在Gunning計劃下資助。其中一些人可以在華盛頓大學(xué)教授卡洛斯·賓格林（Carlos Guestrin）領(lǐng)導(dǎo)下工作。他和他的同事們?yōu)闄C(jī)器學(xué)習(xí)系統(tǒng)開發(fā)了一種方法，為他們的產(chǎn)出提供了理由?；旧希谶@種方法下，計算機(jī)自動從數(shù)據(jù)集中找到幾個示例，并在簡短的解釋中提供它們。例如，將電子郵件分類為來自恐怖分子的系統(tǒng)可能會在其培訓(xùn)和決策中使用數(shù)百萬條消息。但是使用華盛頓隊的方法，它可以突出顯示某個消息中的某些關(guān)鍵字。他們的團(tuán)隊還設(shè)計了圖像識別系統(tǒng)，通過突出顯示最重要的圖像部分來提示其推理。
這種方法的一個缺點和像Barzilay這樣的其他方法的缺點是，所提供的解釋將始終是簡化的，這意味著一些重要的信息可能會丟失。 “我們還沒有實現(xiàn)整個夢想，這是AI與你交談的地方，它能夠解釋，”賓格說。 “我們距離真正解釋的AI還有很長的路要走。”

這不一定是像癌癥診斷或軍事演習(xí)這樣的高風(fēng)險情況成為一個問題。了解AI的推理也將是至關(guān)重要的，如果技術(shù)是成為我們?nèi)粘Ｉ钪谐Ｒ姾陀杏玫牟糠?。領(lǐng)導(dǎo)蘋果Siri團(tuán)隊的Tom Gruber說，可解釋性是他的團(tuán)隊的一個關(guān)鍵考慮因素，因為它試圖使Siri成為一個更聰明，更有能力的虛擬助手。 Gruber不會討論Siri未來的具體計劃，但很容易想像，如果您收到Siri的餐廳推薦，您會想知道推理是什么。蘋果公司的AI研究總監(jiān)和卡內(nèi)基梅隆大學(xué)的副教授Ruslan Salakhutdinov認(rèn)為可解釋性是人與智能機(jī)器關(guān)系發(fā)展的核心。 “這將會引入信任，”他說。
人類行為的許多方面都不可能詳細(xì)解釋，也許AI不可能解釋它所做的一切。懷俄明大學(xué)的克?。–lune）說：“即使有人可以給你一個合理的解釋（對于他或她的行動），它可能是不完整的，對AI也是如此。 “這可能只是智力本質(zhì)的一部分，只有其中的一部分才能被理性地解釋。其中一些只是本能的，或潛意識的，或不可思議的?！?/p>

如果是這樣，那么在某個階段，我們可能只需要信任AI的判斷或不使用它。同樣，這一判斷將必須納入社會情報。正如社會建立在預(yù)期行為合約上一樣，我們將需要設(shè)計AI系統(tǒng)來尊重和符合我們的社會規(guī)范。如果我們要創(chuàng)造機(jī)器人坦克和其他殺戮機(jī)器，那么他們的決策與我們的道德判斷是一致的。

為了探索這些形而上學(xué)的概念，我去了塔夫茨大學(xué)，與著名的哲學(xué)家和認(rèn)知科學(xué)家丹尼特（Daniel Dennett）會面，他們研究意識和心靈。丹尼特最新的一本書“從細(xì)菌到巴赫和后退”，一本關(guān)于意識的百科全書論文，表明智力本身發(fā)展的一個自然部分是創(chuàng)造能夠執(zhí)行其創(chuàng)作者不知道如何做的任務(wù)的系統(tǒng)。 “問題是，我們必須明智地做些什么，我們要求他們和我們自己有什么標(biāo)準(zhǔn)？”他在大學(xué)田園詩般的校園里的雜亂無章的辦公室里告訴我。

他還有一個關(guān)于追求可解釋性的警告。 “我認(rèn)為，如果我們要使用這些東西并依靠它們，那么讓我們盡可能地抓住他們?nèi)绾我约盀槭裁幢M可能地給我們答案，”他說。但由于可能沒有完美的答案，我們應(yīng)該像我們?nèi)祟悓Υ舜艘粯又?jǐn)慎的對待AI解釋 - 無論機(jī)器看起來有多聰明。他說：“如果說AI比我們更擅長解釋，那就不要信任它?！?/p>

轉(zhuǎn)載：知乎專欄 — 張壞水