|
歡迎關(guān)注思影科技的長文解讀，希望我們的解讀可以伴隨思影的讀者們共同成長，如果可以給我們一個轉(zhuǎn)發(fā)，一定是對思影的莫大幫助和鼓勵，謝謝！ 深度學(xué)習(xí)是一種主要使用卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的機器學(xué)習(xí)形式，從最初的計算機視覺應(yīng)用，到現(xiàn)在越來越多地應(yīng)用于醫(yī)學(xué)影像，該方法顯示出了巨大的潛力。由于典型研究中獲取到大量且豐富的多模態(tài)成像信息，因此，神經(jīng)放射學(xué)領(lǐng)域有望成為深度學(xué)習(xí)的早期采用者。目前，深度學(xué)習(xí)的研究應(yīng)用已經(jīng)獲得廣泛關(guān)注，在未來，其應(yīng)用很可能會快速增長。本文描述了深度學(xué)習(xí)的原理，概述了用于訓(xùn)練和測試深度學(xué)習(xí)模型的基本方法，并簡要介紹了深度學(xué)習(xí)目前在神經(jīng)放射學(xué)上的（潛在）應(yīng)用。本文重點關(guān)注深度學(xué)習(xí)在未來如何改變神經(jīng)放射學(xué)，神經(jīng)影像學(xué)研究人員和臨床醫(yī)生對這些方法能夠熟練掌握，對引導(dǎo)和利用深度學(xué)習(xí)方法的應(yīng)用具有重要意義。深度學(xué)習(xí)是人工智能的一種形式，它大致模仿了大腦中神經(jīng)元的結(jié)構(gòu)。在解決計算機視覺、自然語言處理和機器人技術(shù)方面的問題上均展現(xiàn)出巨大潛力。由于理論的進步、可用性的提高以及計算能力的提升、軟硬件的融合，近年來，深度學(xué)習(xí)已經(jīng)成為機器學(xué)習(xí)的主要形式。目前，在深度學(xué)習(xí)領(lǐng)域令人興奮的是，其在各種各樣的目標任務(wù)中都有出色表現(xiàn)。比如，機器學(xué)習(xí)性能的一個基準是ImageNet挑戰(zhàn)。在這個一年一度的比賽中，參賽隊伍要將數(shù)百萬張圖片分成不同的類別(幾十種不同的狗、魚、汽車等等)。而2012年正是一個分水嶺，當時第一個基于神經(jīng)網(wǎng)絡(luò)的參賽作品以巨大的優(yōu)勢擊敗了競爭對手，并超越前幾年的成績。從那以后，每一個獲獎作品都使用了深度學(xué)習(xí)框架。現(xiàn)在，深度學(xué)習(xí)在分類精度等方面的表現(xiàn)已經(jīng)超過了人類。深度學(xué)習(xí)有徹底改變整個行業(yè)的潛力，包括醫(yī)學(xué)成像領(lǐng)域。鑒于神經(jīng)影像學(xué)在神經(jīng)疾病的診斷和治療中的中心地位，深度學(xué)習(xí)可能首先對神經(jīng)放射科醫(yī)生產(chǎn)生深遠的影響。本文將介紹深度學(xué)習(xí)方法，概述其目前的應(yīng)用成功案例，并對這些方法在神經(jīng)放射學(xué)應(yīng)用的未來發(fā)展進行展望。1 什么是深度學(xué)習(xí)？在人工智能的背景下，思考深度學(xué)習(xí)究竟適用在什么地方，這對理解深度學(xué)習(xí)概念來說是很有用的（圖1）。人工智能是一種計算機方法，這些方法可以完成需要人類智慧才能執(zhí)行的任務(wù)。機器學(xué)習(xí)是人工智能的一種類型，它開發(fā)的算法使得計算機無需顯式編程就能從現(xiàn)有數(shù)據(jù)中進行學(xué)習(xí)，例如聚類、Logistic回歸和支持向量機等分類算法。
圖1 人工智能方法。在機器學(xué)習(xí)方法的子集中，深度學(xué)習(xí)通常被實現(xiàn)為一種監(jiān)督學(xué)習(xí)的形式。機器學(xué)習(xí)方法可以進一步分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。在有監(jiān)督學(xué)習(xí)中，存在一些用于訓(xùn)練算法的”ground truth”。比如，對收集到的腦部CT掃描數(shù)據(jù)，神經(jīng)放射學(xué)家可將其分為不同組別。相比之下，對于無監(jiān)督學(xué)習(xí)，不需要使用任何標準圖像或事先標注類別——計算機本身通過相關(guān)算法確定類別。比如聚類算法，圖像會根據(jù)相似性指標被分為多組，而人們事先并不知道是什么原因?qū)е铝朔诸惤Y(jié)果。雖然無監(jiān)督學(xué)習(xí)在醫(yī)學(xué)成像中有著巨大的前景，但本文主要關(guān)注有監(jiān)督學(xué)習(xí)。在以上介紹背景下，深度學(xué)習(xí)是一種使用特定體系結(jié)構(gòu)（某種形式的神經(jīng)網(wǎng)絡(luò)）的有監(jiān)督機器學(xué)習(xí)方法?；谧詣犹崛∠嚓P(guān)特征的能力，這些人工智能技術(shù)的可擴展性極強。以前，若想構(gòu)建一個圖像分類算法，需要領(lǐng)域?qū)＜液徒?jīng)驗豐富的人工智能研究者進行多年努力。而現(xiàn)在，利用有監(jiān)督深度學(xué)習(xí)算法（有標注的數(shù)據(jù)集）幾小時內(nèi)就能自動創(chuàng)建這樣的模型。這些神經(jīng)網(wǎng)絡(luò)模型受到大腦結(jié)構(gòu)的啟發(fā)，用隱藏層表示中間神經(jīng)元(圖2)。雖然現(xiàn)代神經(jīng)網(wǎng)絡(luò)與大腦有這些相似之處，但在更準確地了解大腦結(jié)構(gòu)的前提下，模型是否能夠提高其應(yīng)用性能，仍然是一個比較爭議的問題。例如，在計算機視覺應(yīng)用中，在隱藏層敏感性高的許多特征(例如不同方向的邊緣)與哺乳動物的視覺皮層都有關(guān)聯(lián)。
圖2：人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)的相似之處。人工神經(jīng)網(wǎng)絡(luò)的隱藏層可以被認為類似于大腦中間神經(jīng)元。 在神經(jīng)成像中，一個簡單的深度學(xué)習(xí)模型的架構(gòu)如下所述： （1）將影像數(shù)據(jù)轉(zhuǎn)換為一個由體素強度組成的向量，每個體素則作為一個輸入“神經(jīng)元”。下面講解的實例中，深度學(xué)習(xí)的輸入是單個影像，但實際運用過程中，輸入可以包括整個成像序列、多個序列甚至是多個模態(tài)數(shù)據(jù)。 （2）確定輸入對象后，接下來需要了解這個深度學(xué)習(xí)模型有多少層（深度），每個層有多少個神經(jīng)元（寬度）（圖三）。每個神經(jīng)元都代表著一個數(shù)值，兩兩神經(jīng)元之間的連接，代表不同的權(quán)重（神經(jīng)元之間的關(guān)系強度）。深度學(xué)習(xí)中，會接觸到“全連接層”的概念，其意思是說，網(wǎng)絡(luò)結(jié)構(gòu)其中一層的所有神經(jīng)元均連接到下一層的所有神經(jīng)元，可以用矩陣乘法加以理解。 （3）最后，在神經(jīng)元的輸出端，通常會包括一個非線性的激活函數(shù)，將非線性函數(shù)引入至方程求解，即可表示非常復(fù)雜的函數(shù)。否則，憑借相關(guān)線性函數(shù)，無法表示、計算深度學(xué)習(xí)中如此龐大且復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)。歷史上，sigmoid（S型曲線）和hyperbolic tangents（雙曲正切線）一直是基于神經(jīng)科學(xué)的感悟而使用的。
圖3：一個簡單的深層網(wǎng)絡(luò)架構(gòu)的例子。該網(wǎng)絡(luò)的目標是將MR影像分類為4種特定的診斷(正常、腫瘤、中風(fēng)、出血)。多個不同的圖像作為訓(xùn)練集。對于新的預(yù)測圖像，其被分解成不同體素，每個體素作為網(wǎng)絡(luò)的輸入。這個例子有3個隱藏層，每層7個神經(jīng)元，最終輸出的是4種分類結(jié)果的概率。所有層都是全連接層，底部是一個放大視圖第二隱藏層的單個神經(jīng)元（第一層的所有神經(jīng)元均和它有連接），通過執(zhí)行一個標準矩陣乘法及非線性函數(shù)進行計算，將結(jié)果輸出至下一層的所有神經(jīng)元。 盡管存在一些典型的配置和假設(shè)，但為特定應(yīng)用去選擇網(wǎng)絡(luò)架構(gòu)還是需要費點思考的。通常情況下，隱藏層的神經(jīng)元數(shù)量大于輸入和輸出層。最后一層則對期望的結(jié)果狀態(tài)進行編碼。例如，如果一個人希望將圖像分為“出血”或“無出血”兩個狀態(tài)，則輸出層設(shè)定2個神經(jīng)元是合適的，而每個最終神經(jīng)元存儲的值可以理解為訓(xùn)練示例對應(yīng)于特定類別的概率。模型訓(xùn)練的時候，會有訓(xùn)練集、驗證集之分。訓(xùn)練的目標其實是優(yōu)化網(wǎng)絡(luò)權(quán)值。當網(wǎng)絡(luò)權(quán)值達到越合適時，輸入一個新的樣本圖像，在輸出層被預(yù)測正常的概率就越大。例如，輸入層是一個有出血的圖像，我們則希望模型輸出的結(jié)果是出血的預(yù)測概率高，其他類別的預(yù)測概率低。那，如何來實現(xiàn)這一目的呢?請帶著思考繼續(xù)閱讀尋找答案。如果您對腦影像數(shù)據(jù)處理及機器學(xué)習(xí)感興趣，歡迎瀏覽思影科技課程及數(shù)據(jù)處理服務(wù)（咨詢微信：siyingyxf，電話18580429226，楊曉飛）：
2 訓(xùn)練簡單的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型用分為不同組別的大量樣本去訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)模型，是一個比較理想的狀態(tài)。通常情況下，50%-60%的樣本量作為訓(xùn)練集，10%-20%的樣本作為驗證集，20%-40%的數(shù)據(jù)，則作為測試集。訓(xùn)練集數(shù)據(jù)用于確定模型的參數(shù)設(shè)置，大樣本的訓(xùn)練集對深度學(xué)習(xí)模型來說是非常非常重要的，即使是對于一些比較淺的網(wǎng)絡(luò)架構(gòu)，也可能存在100000個自由參數(shù)。訓(xùn)練數(shù)據(jù)集需要進行多次循環(huán)，直到模型精度達到收斂狀態(tài)（模型精度再也不能更高了）。最開始，預(yù)測結(jié)果可能比較糟糕，但是，我們可以通過“代價函數(shù)”（量化預(yù)測結(jié)果與實際觀測值的指標）修改我們的模型設(shè)置。緊接著，反向傳播算法，目的也是用于減小模型輸出結(jié)果與實際結(jié)果之前的誤差，它根據(jù)代價函數(shù)的值調(diào)整神經(jīng)元之間連接強度(權(quán)重)，然后用于加強正確的預(yù)測并懲罰不正確的預(yù)測。利用單獨的訓(xùn)練實例和多次迭代重復(fù)該過程，從而優(yōu)化網(wǎng)絡(luò)權(quán)重，有效地訓(xùn)練模型。模型訓(xùn)練后，如“學(xué)習(xí)率”，“迭代次數(shù)”等超參數(shù)需要進一步優(yōu)化。最后，利用測試集數(shù)據(jù)進行模型精度評估。這種評估可能產(chǎn)生與訓(xùn)練集類似或更高的錯誤率，但這進一步有助于評估最終模型在真實數(shù)據(jù)中的使用情況。模型進行訓(xùn)練通常需要大量的時間，但最終對新數(shù)據(jù)進行預(yù)測時計算速度會很快。代價函數(shù)的正確選擇是非常重要的。對分類而言，如果模型的預(yù)測正確率較高時，代價函數(shù)值則應(yīng)當進行較低設(shè)置；而當模型的預(yù)測正確率較低時，則相反。在分類的情況下，“交叉熵損失”是一種應(yīng)用比較廣泛的代價函數(shù)，邏輯回歸想進行多個類別的預(yù)測擴展時，可以使用softmax函數(shù)實現(xiàn)。對于圖像預(yù)測，常用的代價函數(shù)包括預(yù)測圖像和參考圖像之間的均方根誤差，以及結(jié)構(gòu)相似度指標：相似度度量。一種比較前沿的方法是生成對抗網(wǎng)絡(luò)，這個對抗網(wǎng)絡(luò)會代替成本函數(shù)本身，其目標是使參考圖像和預(yù)測圖像在最佳狀態(tài)下難以區(qū)分。生成對抗網(wǎng)絡(luò)去努力消除預(yù)測圖像和參考圖像之間的系統(tǒng)差異，這在放射學(xué)環(huán)境中是非常理想的。3、從簡單神經(jīng)網(wǎng)絡(luò)到卷積神經(jīng)網(wǎng)絡(luò)完全連接的神經(jīng)網(wǎng)絡(luò)在計算上非常昂貴，因為權(quán)值的數(shù)量太龐大，特別是對于典型矩陣大小的圖像(擁有256 *256*65,536個體素)。即使只有一個切片，要實現(xiàn)一個完全連接的層也需要40億個權(quán)重計算（OMG!，小編注)。因此，基于圖像深度學(xué)習(xí)的許多研究已經(jīng)轉(zhuǎn)向使用計算效率更高的結(jié)構(gòu)，如卷積神經(jīng)網(wǎng)絡(luò)(CNNs)。 CNNs非常適合成像。在每一幅圖像的位置上，使用一個小的權(quán)重“核”來確定下一層神經(jīng)元的值，而不是完全連接(圖4)。這種方法模仿了卷積的數(shù)學(xué)運算。 
圖4：深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和部署示例。 在訓(xùn)練過程中，對每一幅圖像分別進行分析，并在每一層上移動一小組權(quán)值(卷積核)，以便向下一層提供輸入。每個層可以有多個通道。通過匯集相鄰體素或在內(nèi)核應(yīng)用之間使用更大的步距，更深的層通常具有更小的空間維度，但有更多的通道，每一個通道都可以被認為代表一個抽象的特征。在這個例子中，5個卷積層之后是3個完全連接的層，然后輸出各個類別圖像的概率。這些概率與已知的類(訓(xùn)練示例中的stroke)進行比較，可以用來度量預(yù)測的差異(代價函數(shù))，然后使用反向傳播來更新不同內(nèi)核和全連接參數(shù)的權(quán)重。當模型訓(xùn)練完成并應(yīng)用在新的圖像上時，該過程將產(chǎn)生類似的概率輸出，并期待其中真實診斷的樣本具有最高的預(yù)測可能性。 在兩層之間，唯一需要確定的權(quán)重是內(nèi)核權(quán)重，然后對整個圖像進行光柵化，即可獲得下一層的結(jié)果。這種方法有幾個優(yōu)點。首先，它顯著減少了權(quán)重的數(shù)量。其次，它允許空間不變：圖像特征可能出現(xiàn)在不同的位置，而CNN允許它們的識別獨立于它們的精確位置。通常，CNNs會將相鄰的體素匯集在一起，或者將內(nèi)核以間隔(稱為“跨越長度”的超參數(shù))在這些圖像之間滑動，這樣每個后續(xù)層的維度都比上一層的維度小。對于每一層，通過在創(chuàng)建多個“通道”，可以訓(xùn)練多個不同的內(nèi)核;這樣的結(jié)構(gòu)允許網(wǎng)絡(luò)學(xué)習(xí)許多位置不變的特性，例如邊緣、紋理和數(shù)據(jù)的其他非線性表示。通過pooling或增加stride長度，可以將更大的特性合并到網(wǎng)絡(luò)的隱藏層中。事實上，CNNs以位置不變的方式提取相關(guān)圖像特征的能力與大腦視覺系統(tǒng)的結(jié)構(gòu)相似；Hubel和Wiesel5在20世紀60年代表明，貓的大腦的不同區(qū)域?qū)Σ煌较虻倪吘壍忍卣鞣磻?yīng)強烈。 對于分類預(yù)測，最終的輸出層通常需要連接全連接層。對于圖像預(yù)測，使用上采樣層將較小的維度隱藏層“重新形成”為輸入圖像的原始大小。這樣的架構(gòu)被稱為“編碼-解碼器”，因為它以增加隱藏層的抽象(編碼)的方式表示圖像，然后使用它們又重新創(chuàng)建(解碼)圖像。 4、過度擬合和數(shù)據(jù)擴充如上所述，典型的深度學(xué)習(xí)模型有數(shù)百萬個權(quán)重需要估計，我們會確定非常多的方程（不是變量），最后解這些代數(shù)方程組，來確定權(quán)重估計值。如果一個深度網(wǎng)絡(luò)只訓(xùn)練了很少的樣本例，就有可能非常完美地表示輸入和輸出狀態(tài)之間的轉(zhuǎn)換。但是，這種方法在新的樣本上卻并不適用，即所謂的“過度擬合”問題。過度擬合的最佳解決方案是擴大樣本量，同時，正則化或刪除等方法也可解決過擬合問題。另一個解決過擬合問題可能的解決方案則是數(shù)據(jù)擴充。數(shù)據(jù)擴充是一種增加訓(xùn)練數(shù)據(jù)量的方法。由于大多數(shù)圖像數(shù)據(jù)，無論是在x-y平面上的偏移量、旋轉(zhuǎn)、翻轉(zhuǎn)、輕微拉伸還是傾斜都是可識別的，因此通常采用這種圖像操作來增加訓(xùn)練數(shù)據(jù)。雖然這些圖像改變不會增加更多的樣本數(shù)據(jù)，但有研究已經(jīng)證明，它們可以提高模型的魯棒性。5、廣泛的應(yīng)用類型神經(jīng)放射學(xué)許多方面均有深度學(xué)習(xí)的具體應(yīng)用，神經(jīng)放射學(xué)研究的一個完整工作流程會考慮到相關(guān)深度學(xué)習(xí)算法的應(yīng)用。設(shè)計流程中，首先會參考臨床醫(yī)生的研究，找到研究臨床著陸點，然后采集相關(guān)影像數(shù)據(jù)。接下來，放射科醫(yī)師會接觸這批數(shù)據(jù)，針對這批數(shù)據(jù)，是做目標物體檢測、病灶分割還是鑒別診斷？不管是做哪方面工作，我們都可能因為應(yīng)用深度學(xué)習(xí)算法而受益（在更加智能的情況后，達到我們預(yù)期的指標）。6、成像協(xié)議確定研究思路后，需要根據(jù)特定的神經(jīng)影像學(xué)方案進行試驗。這一過程，往往需要各科醫(yī)生大量的寶貴時間，不止是依賴放射科醫(yī)師成像協(xié)議的專業(yè)知識，也需要臨床醫(yī)師的特定需求關(guān)注點（這些點可以理解成臨床醫(yī)生接觸的大量以往的文本病例）。深度學(xué)習(xí)在自然語言處理方面已經(jīng)很成熟，因此，這些文本病例的自動化處理具有可行性。理論上來說，文本處理，也是一個分類的過程，通過輸入文本病例及患者的元數(shù)據(jù)，最終預(yù)測的是不同文本類別。由于已經(jīng)存在大量的訓(xùn)練數(shù)據(jù)，包括所有被人類所記錄的先前的研究都可以用于訓(xùn)練，使用深度學(xué)習(xí)應(yīng)用于文本研究，是一個比較理想的選擇。7、圖像采集與改進利用深度學(xué)習(xí)方法可以進行圖像重構(gòu)，也可以提高圖像質(zhì)量。深度學(xué)習(xí)框架能夠去“學(xué)習(xí)”標準的MR成像重建技術(shù)，如笛卡爾和非笛卡爾獲取方案。通過優(yōu)化圖像數(shù)據(jù)的采集方式，將深度學(xué)習(xí)到k空間欠采樣與基于模型/壓縮的感知重建方案相結(jié)合，有潛力促成一場成像科學(xué)革命。此外，還可以用深度學(xué)習(xí)的方法提高圖像質(zhì)量。如果可以獲得低分辨率和高分辨率的圖像，就可以使用深度網(wǎng)絡(luò)實現(xiàn)超分辨率。如果有低質(zhì)量和高質(zhì)量的成對圖像集，可以考慮它們之間的最優(yōu)非線性變換。該方法已應(yīng)用于CT成像，并通過由正常劑量和模擬低劑量的CT數(shù)據(jù)集上證明其價值。一項使用3T影像作為輸入數(shù)據(jù)，7T影像作為輸出數(shù)據(jù)的研究表明，可以訓(xùn)練深度網(wǎng)絡(luò)從3T數(shù)據(jù)中，直接創(chuàng)建模擬的“7T”影像。通常，要得到一定的成像序列是非常耗時的;比如DTI序列，對多個角度的掃描延長了檢查時間，超出了許多病人所能忍受的范圍。研究顯示，通過預(yù)測相對較少角度的最終參數(shù)圖(分數(shù)各向異性、平均擴散率等)，深度學(xué)習(xí)方法可以將成像持續(xù)時間縮短12倍。本課題組通過采集2分鐘和30分鐘的成對動脈自旋標記（ASL）CBF圖像，訓(xùn)練了一個深度網(wǎng)絡(luò)，顯著提高了ASL的信噪比(圖5)。
圖5：利用深度學(xué)習(xí)提高動脈自旋標記MR成像的信噪比。 使用單次重復(fù)獲得的低信噪比ASL圖像對模型進行訓(xùn)練，參考圖像為多次重復(fù)獲得的高信噪比ASL圖像(本例為6次重復(fù))。為提高算法性能，質(zhì)子密度加權(quán)圖像和T2加權(quán)圖像也被用作模型的輸入。模型預(yù)測的低信噪比ASL圖像結(jié)果如右圖所示，這是一幅具有改進信噪比的合成圖像。在本例中，參考圖像與合成圖像之間的均方根誤差(root-mean-squared error, RSME)與原始圖像相比降低了近3倍，從29.3%降至10.8%。8、圖像變換創(chuàng)造不同對比或不同特點、不同模式的圖像，是深度學(xué)習(xí)的擴展。例如，通過使用全國醫(yī)學(xué)影像計算數(shù)據(jù)庫聯(lián)盟(http://www./midas/community/view/17)，Vemulapalli等人使用深度學(xué)習(xí)網(wǎng)絡(luò)從T2影像預(yù)測T1影像，反之亦然。深度學(xué)習(xí)的另一個應(yīng)用是PET/MR成像，其與PET/CT不同，CT用于計算衰減圖，MR圖像不直接產(chǎn)生衰減圖像。然而，如果MR圖像中有軟組織、空氣和骨骼的信息，這些序列就可以作為深層網(wǎng)絡(luò)的輸入。關(guān)鍵的是，這里要預(yù)測的圖像不再是另一個MR圖像，而是同一對象的一個校正的CT掃描。最近證明了磁共振成像衰減校正的原理，其性能優(yōu)于其他同類技術(shù)，另一項研究則證明了磁共振成像在放射治療中的類似應(yīng)用。在臨床試驗中，患者可能無法接受某種診斷技術(shù)（如患者身體有植入物時，不適合磁共振成像掃描），或者，患者會缺少某特定時間點的圖像。雖然可以使用統(tǒng)計技術(shù)來解釋這些缺失的數(shù)據(jù)，但前提是從同一人群中抽取的足夠多的患者已經(jīng)完成了影像學(xué)檢查，才有可能去訓(xùn)練一個深度學(xué)習(xí)網(wǎng)絡(luò)來重現(xiàn)這些數(shù)據(jù)。Li等人通過阿爾茨海默病神經(jīng)成像計劃（ADNI；http://www.ADNI-info.org/）證明了這一點。他們使用FDG-PET和T1加權(quán)磁共振成像進行CNN訓(xùn)練，然后在測試集上使用該網(wǎng)絡(luò)，預(yù)測患者磁共振成像研究中預(yù)期的PET圖像，結(jié)果顯示，CNN方法優(yōu)于更傳統(tǒng)的方法。9、病灶檢測與分割檢測和分割病變對人類來說是一項繁重的任務(wù)，但非常適合機器學(xué)習(xí)。雖然兩者（檢測和分割）有關(guān)聯(lián)，但實際上它們是兩個不同的任務(wù)。前者的輸入是未標記的影像，通過自主學(xué)習(xí)，標記潛在的異常；后者分割的目標則是限定異常結(jié)構(gòu)周圍的區(qū)域。神經(jīng)放射科醫(yī)生經(jīng)常被指派監(jiān)測已知病變的大小或活動隨時間或治療反應(yīng)的變化，所以，識別和描繪病變邊緣是非常重要的。深度學(xué)習(xí)在分割正常腦結(jié)構(gòu)方面也有優(yōu)勢，因為現(xiàn)有的方法費時費力，可能應(yīng)用于年輕人或老年人。此外，許多研究項目依賴于圖像病灶的人工描繪。因此，我們可以訓(xùn)練一個深度學(xué)習(xí)網(wǎng)絡(luò)，以圖像作為輸入，手工繪制分割的結(jié)果作為輸出。實際應(yīng)用中，這種做法早期已經(jīng)顯示出巨大的成功。雖然在不同的神經(jīng)疾病條件下有許多例子，但我們主要參考3個有代表性的領(lǐng)域：檢測微出血、識別腦梗死和預(yù)測中風(fēng)患者的最終梗死體積，以及分割腦腫瘤。Dou等人描述了一種通過訓(xùn)練CNN對磁敏感度加權(quán)圖像的注釋數(shù)據(jù)集來檢測腦微出血的過程。他們提出了一個級聯(lián)的，兩步走的方法：首先，候選病灶被CNN識別；然后，這些被識別的病灶輸入到一個有辨識力的CNN網(wǎng)絡(luò)中(比如，判別真正的微出血或模擬微出血)。此網(wǎng)絡(luò)的靈敏度高達93%，平均每個受試者存在3個假陽性識別。自動識別和勾畫梗死的腦組織將有助于急性中風(fēng)的設(shè)置。Chen等人使用DWI作為兩階段深度學(xué)習(xí)算法的輸入，能夠檢測94%的腦急性梗死。使用Dice系數(shù)作為準確性的標志，患者中風(fēng)后2天的的Dice平均得分為0.67。另一項研究使用三層深度CNN和兩層全連接的CNN研究得到了類似的結(jié)果，并且優(yōu)于其他幾種機器學(xué)習(xí)方法。另一個應(yīng)用是預(yù)測急性中風(fēng)患者早期DWI/PWI的最終梗死體積。目前，彌散-灌注適配的方法是主流的模式，即DWI病變代表不可逆損傷的組織，而PWI則代表有梗死危險的組織。與其使用這些人為勾畫再提取的特征，不如使用初始DWI和PWI圖作為輸入，幾天后測量的最終梗死面積作為輸出，來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。通過使用這樣的框架，Nielsen等人證明了深度學(xué)習(xí)架構(gòu)在急性中風(fēng)中比傳統(tǒng)的損傷預(yù)測方法表現(xiàn)更好。他們還表明，37層架構(gòu)優(yōu)于較淺的3層架構(gòu)，這突出了網(wǎng)絡(luò)深度特性的重要性。這種方法的一個令人興奮的應(yīng)用是，基于不同處理，可以訓(xùn)練不同并相互獨立的網(wǎng)絡(luò)。在中風(fēng)方面，人們可以訓(xùn)練接受中風(fēng)治療和未接受中風(fēng)治療的患者的網(wǎng)絡(luò)。使用這兩種不同模型的新預(yù)測可以洞察治療是否會導(dǎo)致梗死體積減少（圖6）。
圖6：兩個急性缺血性卒中患者梗死風(fēng)險的預(yù)測實例，針對有無使用rtPA的患者，分別使用兩個訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)進行預(yù)測?；颊?/span>A，76歲，女性，癥狀發(fā)作后1.5小時，NIHSS評分為10分。rtPA網(wǎng)絡(luò)估計永久性損傷可以忽略不計，與急性DWI一致，隨訪時永久性組織損傷很小。rtPA網(wǎng)絡(luò)顯示，如果不進行治療，相當一部分急性缺血區(qū)域?qū)l(fā)展為永久性損傷?；颊?/span>B是一名72歲男性，入院時NIHSS評分為10，發(fā)病后2小時掃描。在這種情況下，這兩個網(wǎng)絡(luò)顯示治療的預(yù)期影響很小，可能是由于在DWI上看到的缺血性事件成像時的進展。CMRO2：大腦氧代謝率；Tmax：最長時間。圖由Kim Mouridsen和Anne Nielsen/奧胡斯大學(xué)提供。不僅是增強邊緣，還有如增強區(qū)和壞死區(qū)的特征進行的腦腫瘤的自動分割，有助于廣泛的一些適應(yīng)癥確定，如診斷、術(shù)前計劃和隨訪。腦腫瘤圖像分割數(shù)據(jù)集公開可用，專家可手動分割，為訓(xùn)練新的分割算法提供了一個試驗場地。在贏得2015年ImageNet挑戰(zhàn)賽的結(jié)構(gòu)基礎(chǔ)上，2016年，腦腫瘤圖像分割數(shù)據(jù)集的最高性能是使用全卷積殘差神經(jīng)網(wǎng)絡(luò)實現(xiàn)的，其完整腫瘤、核心腫瘤和增強腫瘤的Dice系數(shù)在0.72到0.87之間。另一項研究中，Korfaitis等人訓(xùn)練了一個深度自動編碼器解碼器，在腦腫瘤圖像分割數(shù)據(jù)集上分割T2-FLAIR病灶，該數(shù)據(jù)集包括186例患者手工繪制的病灶輪廓。然后，他們將模型應(yīng)用于另一組135名腫瘤患者，在這組患者中，由3名專家進行病灶分割，并綜合了3個專家的個體結(jié)果測量了Dice系數(shù)（0.88）。他們注意到，3個專家在分割上存在顯著差異，同時指出了統(tǒng)一分割標準的重要性。10、基于影像和深度學(xué)習(xí)的診斷放射學(xué)領(lǐng)域，機器學(xué)習(xí)至高無上的應(yīng)用其實是一個“端到端”的解決方案：輸入端是圖像，輸出端則是一份涵蓋圖像所有突出特征的放射學(xué)報告草案。這似乎不太可能實現(xiàn)，但隨著深度學(xué)習(xí)的深入研究，這方面也正在逐步取得進展。這種方法需要大量帶標注的訓(xùn)練數(shù)據(jù)（有監(jiān)督學(xué)習(xí)），這些數(shù)據(jù)目前以多種不同形式存在。使用標準化詞匯的結(jié)構(gòu)化報告及標準電子病歷平臺，這些都能夠形成深度學(xué)習(xí)所需的大型成像/診斷數(shù)據(jù)庫。本節(jié)則將討論深度學(xué)習(xí)在神經(jīng)放射學(xué)診斷中的一些早期應(yīng)用。Gao等人使用深度學(xué)習(xí)網(wǎng)絡(luò)，將285例無增強腦部CT圖像分為3類（正常老化、病變[如腫瘤]、阿爾茨海默病[AD]）。另一項研究表明，在ADNI數(shù)據(jù)集中，使用多模態(tài)疊加深度多項式網(wǎng)絡(luò)可以將患者分為不同的二元組(如AD與NC（健康對照組），輕度認知障礙轉(zhuǎn)換（MCI-c）和無輕度認知障礙轉(zhuǎn)換(MCI-n)）。該研究的輸入不是圖像，而是使用從T1加權(quán)圖像中分割出的93個結(jié)構(gòu)體積以及這些相同區(qū)域中的[18F]FDG-PET信號強度。在區(qū)分AD和NC時，模型的AUC值高達97%；預(yù)測MCI轉(zhuǎn)換與否時，模型的AUC也達到0.8。Suk等人的研究表明，利用深度加權(quán)稀疏多任務(wù)學(xué)習(xí)框架，使用ADNI數(shù)據(jù)集中的腦脊液數(shù)據(jù)結(jié)合相似特征，可以提高分類準確率：區(qū)分AD患者與NC患者的準確率達到95%。但是，當嘗試3分類(AD、NC和MCI)時，準確率下降到63%，4分類(AD、NC、MCI和MCI -nonconverter)準確率進一步下降到54%。后一點說明，從簡單的二分類任務(wù)過渡到神經(jīng)放射學(xué)家所熟悉的多任務(wù)診斷分類，仍然是一個重大的挑戰(zhàn)。另一個應(yīng)用，是使用深層網(wǎng)絡(luò)識別非創(chuàng)傷性腦部CT上是否存在出血。雖然一般的機器學(xué)習(xí)技術(shù)已經(jīng)成功地應(yīng)用到這些案例中，但近期才對深度學(xué)習(xí)方法在此方面的應(yīng)用進行了評估。Phong等人使用幾個“預(yù)訓(xùn)練”的深層網(wǎng)絡(luò)作為他們訓(xùn)練的起點。具體的說，他們的訓(xùn)練起點來自GoogLeNet（http:///tag/GoogLeNet/）或Inception ResNet（https://keras./reference/application_Inception_ResNet_v2.html）的最佳權(quán)重，隨即利用這些權(quán)重去訓(xùn)練非醫(yī)學(xué)圖像，然后使用這些非醫(yī)學(xué)影像數(shù)據(jù)訓(xùn)練最后的全連接層。這種方法(遷移學(xué)習(xí))與從零開始的訓(xùn)練相比，可以用更少的數(shù)據(jù)對網(wǎng)絡(luò)進行訓(xùn)練。以此思想為基礎(chǔ)，他們使用80例數(shù)據(jù)作為訓(xùn)練集，20例數(shù)據(jù)作為測試集，最終分類準確率達到98%。Plis等人檢測了結(jié)構(gòu)和功能磁共振成像作為預(yù)測各種神經(jīng)疾病的深度網(wǎng)絡(luò)輸入。在結(jié)構(gòu)成像方面，他們可以從健康患者中鑒別出精神分裂癥和亨廷頓舞蹈癥患者。對fMRI，他們發(fā)現(xiàn)，在識別功能網(wǎng)絡(luò)時，深度網(wǎng)絡(luò)和獨立成分分析的表現(xiàn)相似，但前者更傾向于保留邊緣細節(jié)。使用時序自編碼神經(jīng)網(wǎng)絡(luò)模型預(yù)測的靜息態(tài)下fMRI時間序列下一時間點時的結(jié)果，應(yīng)用于Human Connectome Project數(shù)據(jù)，則顯示了識別特定任務(wù)網(wǎng)絡(luò)的能力。11、深度學(xué)習(xí)對神經(jīng)放射學(xué)實踐的影響一個值得關(guān)注的問題是，如果以上應(yīng)用獲得成功，那放射科醫(yī)生所做的一些傳統(tǒng)工作可能會過時。最近報告了一項深度學(xué)習(xí)應(yīng)用案例，模型輸入是醫(yī)學(xué)影像（病理切片），輸出則是基于文本信息的診斷報告。雖然這項技術(shù)還處于初級階段，但不難想象，用CT掃描影像及其文本報告信息，完全可以訓(xùn)練一個類似的網(wǎng)絡(luò)。雖然深度學(xué)習(xí)很可能自動化放射科醫(yī)師的工作任務(wù)，但模型的輸出結(jié)果仍然需要醫(yī)生進行檢查并驗證，如此才可更可靠的應(yīng)用于臨床。深度學(xué)習(xí)的另一個關(guān)注點是，我們對模型的內(nèi)部工作機制了解甚少，就像一個黑盒子；它們能很好的應(yīng)用于預(yù)測，但我們并不清楚，它們是如何實現(xiàn)這一功能的。這與以往許多放射學(xué)研究形成對比，以往放射學(xué)研究嚴重依賴于領(lǐng)域知識和現(xiàn)實模型的構(gòu)建。所以，了解深層網(wǎng)絡(luò)如何以及為什么能夠表現(xiàn)得如此出色，是AI的一個活躍研究領(lǐng)域。此外，深度學(xué)習(xí)仍然存在兩大限制：1，嚴重依賴大量標注數(shù)據(jù)集,2，在原始數(shù)據(jù)和實踐模式發(fā)生變化時，如何保持模型的最新版（更新迭代問題）。在那些容易受到干擾的應(yīng)用程序中，還不清楚哪些應(yīng)用程序有足夠的臨床需求來推動其后期的廣泛使用。因此，放射科醫(yī)生必須與人工智能科學(xué)家保持聯(lián)系，其既要了解現(xiàn)有方法的能力，又要以智能的方式指導(dǎo)未來的研究。雖然這是一個比較有爭議的問題，但深度學(xué)習(xí)雖然在逐步發(fā)展，可目前也近乎沒有研究證明，深度學(xué)習(xí)技術(shù)可以完全取代放射科醫(yī)師。在可預(yù)見的將來，它們可能會成為強大的圖像處理和決策支持工具（助手），以此提高放射科醫(yī)生的診斷準確率和工作效率。12、前景深度學(xué)習(xí)的豐富應(yīng)用可能會導(dǎo)致往后大家更多地使用這項技術(shù)。但以多快的速度發(fā)生取決于以下幾個關(guān)鍵因素：1）算法方面：深度學(xué)習(xí)通過添加隱藏層可以從大量數(shù)據(jù)集中學(xué)習(xí)到更多信息；如果可以使用更大的標注數(shù)據(jù)集，深度學(xué)習(xí)的應(yīng)用能力將更強，諸如ADNI和癌癥影像存檔（https://public.Cancer Imaging Archive.net/ncia/legalRules.jsf）等數(shù)據(jù)共享計劃的重要性怎么強調(diào)都不為過；2）硬件方面：運行這些方法所需的計算機硬件不斷改進，成本也越來越低；3）軟件方面：開源軟件框架的可用性，如Caffe、Tensorflow、PyTorch和Keras，極大地促進了深度學(xué)習(xí)的發(fā)展。然而，在這些方法成為臨床實踐的常規(guī)部分之前，供應(yīng)商們應(yīng)提供一個能夠很好地把當下工作流模式集成的全包系統(tǒng)。通過醫(yī)學(xué)影像會議和同事等之間的交流，越來越多的放射學(xué)研究工作者和實踐者對深度學(xué)習(xí)感到滿意，而深度學(xué)習(xí)的臨床應(yīng)用，也將從當前較為簡單的情況擴展到解決更復(fù)雜、更專業(yè)的問題。因此，我們可以期待深度學(xué)習(xí)在神經(jīng)放射學(xué)這一領(lǐng)域的進一步發(fā)展！如需原文及補充材料請加思影科技微信：siyingyxf 或者19962074063（楊曉飛）獲取,如對思影課程感興趣也可加此微信號咨詢。覺得有幫助，給個轉(zhuǎn)發(fā)，或許身邊的朋友正需要。
|
