|
1 AI存在的問題 我們正在進入AI應(yīng)用的新時代，機器學(xué)習(xí)是核心技術(shù)，但是機器學(xué)習(xí)模型是不透明的、非直觀的、難以被人們理解的。當前的AI系統(tǒng)雖然提供了很多好處，但是由于無法向用戶解釋它們的決策和行為，他們的作用將會受到制約。如果用戶想要理解、適度信任和有效管理這個正在到來的人工智能伙伴，可解釋AI是必須的。 2 可解釋AI的內(nèi)涵 AI是個“黑盒子”，它的輸出會讓人產(chǎn)生困惑和懷疑。而可解釋AI（后面簡稱XAI）就是為了解開這些困惑和懷疑，具體如圖所示。 3 為什么要發(fā)展EAI（從模型的角度） 首先，EAI可以改進機器學(xué)習(xí)（ML）模型，通過EAI技術(shù)，人的智力被加入到機器學(xué)習(xí)模型中，而來自人類的驗證可以提高模型的表現(xiàn)。 其次，EAI可以對錯誤的預(yù)測進行調(diào)試，從而提高ML模型的準確度。否則在某些情況下，如果判斷錯誤，可能會造成嚴重的后果，比如自動駕駛汽車會因為識別錯誤而撞車，AI醫(yī)學(xué)診斷系統(tǒng)會因為診斷錯誤而耽誤疾病的治療。 另外，EAI可以讓人類獲得一些新的視角，比如專家在分析AI參加的一盤圍棋比賽時發(fā)現(xiàn)，某一種走法在人類圍棋比賽中是從來沒有出現(xiàn)過的。 最后，EAI可以幫助我們了解更多的物理、生物、化學(xué)機制，例如找到和癌癥相關(guān)的基因，確定投標地點等。 4 獲得EAI的主要途徑 方法1：用事后分析方法解釋一個AI模型 (1)從“輸入特征”、“有影響的例子”、“概念”、“局部決策規(guī)則”等方面進行單獨預(yù)測解釋； (2)從“部分相關(guān)圖”、“全局特征重要性”、“全局決策規(guī)則”等方面進行全局預(yù)測解釋。 方法2：構(gòu)建一個可解釋的模型 涉及到的模型主要有邏輯回歸、決策樹、決策列表和集合、廣義加法模型（GAMs）等。 方法1和方法2中用到的主要的可解釋性方法如圖所示。 其中： ■ALE是指干擾鄰近點的特征值，看輸出如何變化。 ■PDP ICE是指改變所有點的特征值，然后看輸出如何變化 ■TCAV是指看由DNNs學(xué)習(xí)到的某些點的表現(xiàn)形式是否線性可分 ■Influence functions是指找到高度影響一個習(xí)得的模型的點 ■MMD_CRITIC是指找到一些能概述類的點 ■Rulefit是指自動將從小樹上提煉出來的特征加到一個線性模型上 ■LIME是指在某一個點對一個模型進行線性近似 ■SHAP是指發(fā)現(xiàn)特征對預(yù)測的有關(guān)貢獻 ■ACD是指對于一個DNN預(yù)測，等級特征的重要性 ■Text是指DNN產(chǎn)生文本去解釋DNN的預(yù)測（有時候不可信） ■Permutation importance是指改變一個特征，看它如何影響模型 本文來源：宇航智控 |
|
|
