邊緣智能：現(xiàn)狀和展望

李肯立^1，2，劉楚波¹

1 湖南大學(xué)信息科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410082

2 國家超級(jí)計(jì)算長(zhǎng)沙中心，湖南 長(zhǎng)沙 410082

摘要：邊緣智能（即將人工智能融入邊緣計(jì)算，部署在邊緣設(shè)備）作為更快更好地提供智能服務(wù)的一種服務(wù)模式，已逐漸滲入各行各業(yè)。然而，當(dāng)前邊緣智能面臨著巨大挑戰(zhàn)。首先簡(jiǎn)要介紹了邊緣智能的起源與概念；然后總結(jié)了邊緣智能面臨的三大挑戰(zhàn)；最后，概括了當(dāng)前針對(duì)邊緣智能挑戰(zhàn)的5個(gè)研究方向。為相關(guān)讀者了解邊緣智能和相關(guān)人員研究邊緣智能提供一定的參考。

關(guān)鍵詞：邊緣計(jì)算 ; 人工智能 ; 邊緣智能

論文引用格式：

李肯立,劉楚波. 邊緣智能：現(xiàn)狀和展望. 大數(shù)據(jù)[J], 2019, 5(3）：69-75

LI K L, LIU C B.Edge intelligence: state-of-the-art and expectations. Big Data Research[J], 2019, 5(3): 69-75

1 引言

近年來，隨著萬物互聯(lián)時(shí)代的到來和無線網(wǎng)絡(luò)的普及，網(wǎng)絡(luò)邊緣的設(shè)備數(shù)量和其產(chǎn)生的數(shù)據(jù)量都急劇增長(zhǎng)。根據(jù)Cisco云指數(shù)的預(yù)測(cè)，到2021年，全球范圍內(nèi)將有超過500億的終端設(shè)備，這些設(shè)備每年產(chǎn)生的數(shù)據(jù)總量將達(dá)到847 ZB，其中約有10%的數(shù)據(jù)需要進(jìn)行計(jì)算處理。另外，智能終端設(shè)備已成為人們生活的一部分，人們對(duì)服務(wù)質(zhì)量的要求有了進(jìn)一步提升。在這種情況下，以云計(jì)算為代表的集中式處理模式將無法高效地處理邊緣設(shè)備產(chǎn)生的數(shù)據(jù)，無法滿足人們對(duì)服務(wù)質(zhì)量的需求。其劣勢(shì)主要體現(xiàn)在以下兩個(gè)方面。

● 實(shí)時(shí)性不夠。在云計(jì)算服務(wù)模式下，應(yīng)用需要將數(shù)據(jù)傳送到云計(jì)算中心進(jìn)行處理，這增大了系統(tǒng)的時(shí)延。以無人駕駛汽車為例，高速行駛的汽車需要在毫秒級(jí)的時(shí)間內(nèi)響應(yīng)，一旦由于數(shù)據(jù)傳輸、網(wǎng)絡(luò)等問題導(dǎo)致系統(tǒng)響應(yīng)時(shí)間增加，將會(huì)造成嚴(yán)重的后果。

● 帶寬不足。邊緣設(shè)備產(chǎn)生的大量數(shù)據(jù)全部傳輸至云計(jì)算中心，給網(wǎng)絡(luò)帶寬造成了極大的壓力。例如，飛機(jī)波音787每秒產(chǎn)生的數(shù)據(jù)超過5 GB，但飛機(jī)與衛(wèi)星之間的帶寬不足以支持?jǐn)?shù)據(jù)的實(shí)時(shí)傳輸。

邊緣計(jì)算模型應(yīng)運(yùn)而生。邊緣計(jì)算是部署在邊緣終端設(shè)備和云計(jì)算中心之間的一種新型計(jì)算模型。邊緣計(jì)算的資源是指從數(shù)據(jù)源到云計(jì)算中心路徑上的任意計(jì)算和網(wǎng)絡(luò)資源，是一個(gè)連續(xù)系統(tǒng)。在該模式下，邊緣設(shè)備上亦有計(jì)算。邊緣計(jì)算具有幾個(gè)明顯的優(yōu)點(diǎn)：首先，邊緣設(shè)備處理了部分產(chǎn)生的臨時(shí)數(shù)據(jù)，不再需要將全部數(shù)據(jù)上傳至云端，只需要傳輸有價(jià)值的數(shù)據(jù)，這極大地減輕了網(wǎng)絡(luò)帶寬的壓力，且減少了對(duì)計(jì)算存儲(chǔ)資源的需求。其次，在靠近數(shù)據(jù)源端進(jìn)行數(shù)據(jù)處理，能夠大大地減少系統(tǒng)時(shí)延，提高服務(wù)的響應(yīng)時(shí)間。

人工智能（artificial intelligence，AI）技術(shù)迅猛發(fā)展，它是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的一門新的技術(shù)科學(xué)。所謂智能，就是人腦比較過去、預(yù)測(cè)未來的能力。人的大腦不是計(jì)算機(jī)，不會(huì)亦步亦趨、按部就班地根據(jù)輸入產(chǎn)生輸出。人的大腦是一個(gè)龐大的記憶系統(tǒng)，它存儲(chǔ)著在某種程度上反映世界真實(shí)結(jié)構(gòu)的經(jīng)驗(yàn)，能夠記憶事件的前后順序及相互關(guān)系，并依據(jù)記憶做出預(yù)測(cè)。

人工智能的最大優(yōu)勢(shì)在于它可以通過對(duì)外部聲音、圖像、環(huán)境或思維方式的處理，制定出問題的解決方法，對(duì)各類信息進(jìn)行智能化的分析處理，解決人們?cè)谏钪忻鎸?duì)的各種難題。例如，人工智能在疾病診斷方面的應(yīng)用，不僅可以輔助醫(yī)生做出診斷治療方案，也能幫助非醫(yī)學(xué)人員正確處理病情。根據(jù)對(duì)模擬得出的數(shù)據(jù)信息的處理分析，人工智能可以快速制定出相應(yīng)的解決方案，并以類比人類思維的方式運(yùn)作。在相同情況下，人工智能技術(shù)相比于人工處理更加高效快速，極大地促進(jìn)了人們生活水平的進(jìn)步。人工智能技術(shù)的優(yōu)勢(shì)主要體現(xiàn)在以下兩個(gè)方面。

● 人工智能技術(shù)可以在很大程度上解決現(xiàn)實(shí)生活中無法處理的難題。當(dāng)人們對(duì)模型的運(yùn)算情況不清楚時(shí)，人工智能可以將其很好地解決，實(shí)現(xiàn)由結(jié)果現(xiàn)象回溯本質(zhì)方法的處理。例如，針對(duì)大量雜亂、看似無關(guān)的原生數(shù)據(jù)，人們可以采用人工智能方法對(duì)數(shù)據(jù)進(jìn)行處理、分類，提取出有用的數(shù)據(jù)。

● 人工智能可以實(shí)現(xiàn)對(duì)數(shù)據(jù)的加速處理。它主要是通過對(duì)外部聲音、圖像、環(huán)境或思維模式行為的模仿，結(jié)合計(jì)算機(jī)技術(shù)，加快對(duì)信息和數(shù)據(jù)的處理速度，從而給用戶帶來更好的體驗(yàn)。

人工智能技術(shù)已成功應(yīng)用于目標(biāo)識(shí)別、智能搜索、語言處理、智能交通等領(lǐng)域。然而，由于人工智能方法包含大量的計(jì)算，當(dāng)前人工智能大部分計(jì)算任務(wù)部署在云計(jì)算中心等大規(guī)模計(jì)算資源集中的平臺(tái)上，這極大地限制了人工智能帶給人們的便利。

為此，邊緣智能應(yīng)聲而出。邊緣智能是指終端智能，它是融合網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、應(yīng)用核心能力的開放平臺(tái)，并提供邊緣智能服務(wù)，滿足行業(yè)數(shù)字化在敏捷連接、實(shí)時(shí)業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護(hù)等方面的關(guān)鍵需求。將智能部署在邊緣設(shè)備上，可以使智能更貼近用戶，更快、更好為用戶地提供智能服務(wù)。

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展和移動(dòng)設(shè)備的高度普及，邊緣智能自提出以來，已引起了國內(nèi)外政府、學(xué)術(shù)界與工業(yè)界的高度關(guān)注。然而，邊緣智能仍處于發(fā)展初期，面臨著巨大的挑戰(zhàn)。

2 邊緣智能面臨的挑戰(zhàn)

人工智能方法主要包括訓(xùn)練和推斷兩部分。訓(xùn)練主要是利用已知結(jié)果的大量數(shù)據(jù)來訓(xùn)練模型，即根據(jù)已有的大量數(shù)據(jù)來擬合模型及參數(shù)。推斷主要是用擬合好的模型對(duì)未知結(jié)果的數(shù)據(jù)結(jié)果進(jìn)行預(yù)測(cè)。訓(xùn)練過程需要大量的計(jì)算資源和存儲(chǔ)資源。將人工智能部署在邊緣設(shè)備上，主要面臨以下幾個(gè)挑戰(zhàn)。

● 計(jì)算、存儲(chǔ)、能耗等資源受限。相比于云計(jì)算中心等大規(guī)模服務(wù)器集群，邊緣計(jì)算的資源是指從數(shù)據(jù)源到云計(jì)算中心路徑上的任意計(jì)算和網(wǎng)絡(luò)資源（如攝像頭、網(wǎng)關(guān)等）。因而，邊緣設(shè)備的計(jì)算、存儲(chǔ)能力往往遠(yuǎn)遠(yuǎn)小于專用服務(wù)器的計(jì)算、存儲(chǔ)能力，無法滿足人工智能訓(xùn)練所需的大量計(jì)算和存儲(chǔ)資源。除此之外，部分邊緣設(shè)備采用蓄電池等小型供電設(shè)備，無法滿足計(jì)算所需的能耗。

● 邊緣網(wǎng)絡(luò)資源不足。根據(jù)Cisco云指數(shù)的預(yù)測(cè)，到2021年，全球范圍將有超過500億的終端設(shè)備，每年產(chǎn)生的數(shù)據(jù)總量將達(dá)到847 ZB。相比而言，全球數(shù)據(jù)中心的存儲(chǔ)能力預(yù)計(jì)僅能達(dá)到2.6 ZB，而網(wǎng)絡(luò)流量為19.5 ZB。

● 人工智能在“邊緣”并行困難。人工智能是研究使計(jì)算機(jī)模擬人的某些思維過程和智能行為（如學(xué)習(xí)、推理、思考、規(guī)劃等）的學(xué)科。人工智能模型模擬人腦神經(jīng)元的互聯(lián)關(guān)系，模型復(fù)雜，各組成部分之間依賴性強(qiáng)，在分布式環(huán)境下并行困難。

3 邊緣智能的主要研究方向

計(jì)算模型的創(chuàng)新帶來的是技術(shù)的進(jìn)步，而邊緣智能的巨大優(yōu)勢(shì)也促使人們直面挑戰(zhàn)、解決問題，推動(dòng)相關(guān)技術(shù)的發(fā)展。針對(duì)第2節(jié)中分析的邊緣智能面臨的挑戰(zhàn)，研究人員針對(duì)性地設(shè)計(jì)了相應(yīng)的解決方案。本節(jié)總結(jié)了當(dāng)前針對(duì)邊緣智能難題的5個(gè)研究方向，包括邊云協(xié)同、模型分割、模型壓縮、減少冗余數(shù)據(jù)傳輸以及設(shè)計(jì)輕量級(jí)加速體系結(jié)構(gòu)。其中，邊云協(xié)同、模型分割、模型壓縮主要是減少邊緣智能在計(jì)算、存儲(chǔ)需求方面對(duì)邊緣設(shè)備的依賴；減少冗余數(shù)據(jù)傳輸主要用于提高邊緣網(wǎng)絡(luò)資源的利用效率；設(shè)計(jì)輕量級(jí)加速體系結(jié)構(gòu)主要針對(duì)邊緣特定應(yīng)用提升智能計(jì)算效率。

（1）邊云協(xié)同

為彌補(bǔ)邊緣設(shè)備計(jì)算、存儲(chǔ)等能力的不足，滿足人工智能方法訓(xùn)練過程中對(duì)強(qiáng)大計(jì)算能力、存儲(chǔ)能力的需求，有研究文獻(xiàn)提出云計(jì)算和邊計(jì)算協(xié)同服務(wù)架構(gòu)。如圖1所示，研究人員提出將訓(xùn)練過程部署在云端，而將訓(xùn)練好的模型部署在邊緣設(shè)備。顯然，這種服務(wù)模型能夠在一定程度上彌補(bǔ)人工智能在邊緣設(shè)備上對(duì)計(jì)算、存儲(chǔ)等能力的需求。

圖1 云計(jì)算中心協(xié)同邊計(jì)算服務(wù)器服務(wù)的過程

類似上述理念，2018年7月，谷歌推出兩款大規(guī)模開發(fā)和部署智能連接設(shè)備的產(chǎn)品：Edge TPU和Cloud IoT Edge。Edge TPU是一種小型的專用集成電路（application specific integrated circuit，ASIC）芯片，用于在邊緣設(shè)備上運(yùn)行TensorFlow Lite機(jī)器學(xué)習(xí)模型。Cloud IoT Edge是一個(gè)軟件系統(tǒng)，它可以將谷歌云的數(shù)據(jù)處理和機(jī)器學(xué)習(xí)功能擴(kuò)展到網(wǎng)關(guān)、攝像頭和終端設(shè)備上。用戶可以在Edge TPU或者基于GPU/CPU的加速器上運(yùn)行在谷歌云上訓(xùn)練好的機(jī)器學(xué)習(xí)模型。Cloud IoT Edge可以在Android或Linux設(shè)備上運(yùn)行，關(guān)鍵組件包括一個(gè)運(yùn)行時(shí)（runtime）。Cloud IoT Edge 運(yùn)行在至少有一個(gè)CPU的網(wǎng)關(guān)類設(shè)備上，可以在邊緣設(shè)備本地存儲(chǔ)、轉(zhuǎn)換、處理數(shù)據(jù)，同時(shí)，還能與物聯(lián)網(wǎng)（Internet of things，IoT）平臺(tái)的其他部分進(jìn)行無縫互操作。

（2）模型分割

為了將人工智能方法部署在邊緣設(shè)備，參考文獻(xiàn)提出了切割訓(xùn)練模型，它是一種邊緣服務(wù)器和終端設(shè)備協(xié)同訓(xùn)練的方法。如圖2所示，參考文獻(xiàn)提出將計(jì)算量大的計(jì)算任務(wù)卸載到邊緣端服務(wù)器進(jìn)行計(jì)算，而計(jì)算量小的計(jì)算任務(wù)則保留在終端設(shè)備本地進(jìn)行計(jì)算。顯然，上述終端設(shè)備與邊緣服務(wù)器協(xié)同推斷的方法能有效地降低深度學(xué)習(xí)模型的推斷時(shí)延。然而，不同的模型切分點(diǎn)將導(dǎo)致不同的計(jì)算時(shí)間，因此需要選擇最佳的模型切分點(diǎn)，以最大化地發(fā)揮終端與邊緣協(xié)同的優(yōu)勢(shì)。

圖2 邊緣服務(wù)器與終端設(shè)備協(xié)同推理

（3）模型裁剪

為了減少人工智能方法對(duì)計(jì)算、存儲(chǔ)等能力的需求，一些研究人員提出了一系列的技術(shù)，在不影響準(zhǔn)確度的情況下裁剪訓(xùn)練模型，如在訓(xùn)練過程中丟棄非必要數(shù)據(jù)、稀疏代價(jià)函數(shù)等。圖3展示了一個(gè)裁剪的多層感知網(wǎng)絡(luò)。如圖3所示，網(wǎng)絡(luò)中許多神經(jīng)元的值為零，這些神經(jīng)元在計(jì)算過程中不起作用，因而可以將其移除，以減少訓(xùn)練過程中對(duì)計(jì)算和存儲(chǔ)的需求，盡可能使訓(xùn)練過程在邊緣設(shè)備進(jìn)行。在參考文獻(xiàn)中，作者也提出了一些壓縮、裁剪技巧，能夠在幾乎不影響準(zhǔn)確度的情況下極大地減少網(wǎng)絡(luò)神經(jīng)元的個(gè)數(shù)。

圖3 裁剪的訓(xùn)練模型

（4）減少冗余數(shù)據(jù)傳輸

為了節(jié)省帶寬資源，部分研究人員在不同的環(huán)境中提出了各式各樣減少數(shù)據(jù)傳輸?shù)姆椒?，主要表現(xiàn)在邊云協(xié)同和模型壓縮中。例如，在參考文獻(xiàn)中，作者提出只將在邊緣設(shè)備推斷有誤的數(shù)據(jù)傳輸?shù)皆贫嗽俅斡?xùn)練，以減少數(shù)據(jù)傳輸。在參考文獻(xiàn)中，作者提出在不影響準(zhǔn)確度的情況下移除冗余數(shù)據(jù)，以減少數(shù)據(jù)的傳輸。

（5）設(shè)計(jì)輕量級(jí)加速體系結(jié)構(gòu)

雖然NVIDIA公司的GPU芯片在數(shù)據(jù)中心人工智能的訓(xùn)練階段占據(jù)了主導(dǎo)地位，但是依靠電池供電的邊緣設(shè)備需要低功耗、小面積的加速芯片才能進(jìn)行有效的推理。為此，相關(guān)研究人員從不同的角度進(jìn)行了考慮，設(shè)計(jì)了許多針對(duì)邊緣設(shè)備的加速體系結(jié)構(gòu)。例如，在參考文獻(xiàn)中，作者針對(duì)壓縮、裁剪環(huán)境下的網(wǎng)絡(luò)模型設(shè)計(jì)了一個(gè)加速器。在參考文獻(xiàn)中，與傳統(tǒng)對(duì)不同種類應(yīng)用一一對(duì)應(yīng)設(shè)計(jì)加速硬件方法不同，作者提出采用可編程硬件加速，即對(duì)不同種類的應(yīng)用使用同一硬件重寫編程加速，以提高資源利用率，減小加速硬件的面積。在參考文獻(xiàn)中，作者提出利用可重構(gòu)硬件特性，針對(duì)多種應(yīng)用設(shè)計(jì)加速體系結(jié)構(gòu)，在維持硬件面積的同時(shí)擴(kuò)大應(yīng)用范圍。在工業(yè)界，亦有公司研究低功耗加速芯片。例如，與Altera公司和Xilinx公司研究數(shù)據(jù)中心功耗達(dá)到數(shù)十瓦的大型現(xiàn)場(chǎng)可編程門陣列（field programmable gate array，F(xiàn)PGA）芯片不同， Efinix公司的目標(biāo)是研究功耗只有一瓦但可以運(yùn)行神經(jīng)網(wǎng)絡(luò)加速器的設(shè)備。

4 結(jié)束語

經(jīng)過近幾年的發(fā)展，人工智能已在許多場(chǎng)景下發(fā)揮了重要作用，其巨大的優(yōu)勢(shì)有望在更多方面推動(dòng)科技和社會(huì)生活的進(jìn)步。然而，由于人工智能對(duì)計(jì)算能力的高需求，目前為止，人工智能的訓(xùn)練過程多集中在云計(jì)算中心等大規(guī)模計(jì)算集群中，端-云間的傳輸時(shí)延已成為智能服務(wù)的一道門墻。為使智能更貼近用戶，更好地為人們服務(wù)，邊緣智能應(yīng)運(yùn)而生，即結(jié)合人工智能和邊緣計(jì)算技術(shù)，將智能服務(wù)由云計(jì)算中心推送到邊緣設(shè)備，以改善智能服務(wù)質(zhì)量。

本文總結(jié)了邊緣智能面臨的3個(gè)挑戰(zhàn)，并總結(jié)了當(dāng)前大部分研究人員針對(duì)這3個(gè)挑戰(zhàn)提出的5個(gè)方向的解決方案，包括邊云協(xié)同、模型分割、模型壓縮、減少冗余數(shù)據(jù)傳輸以及設(shè)計(jì)輕量級(jí)加速體系結(jié)構(gòu)。

人工智能、邊緣計(jì)算已獲得國內(nèi)外政府、學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注和認(rèn)可，已在許多應(yīng)用場(chǎng)景下發(fā)揮作用。將人工智能部署在邊緣設(shè)備已成為提升智能服務(wù)的有效途徑。盡管邊緣智能仍處于發(fā)展初期，然而，筆者相信，邊緣智能將產(chǎn)生極大的促進(jìn)效果，并成為各行各業(yè)的黏合劑和智能產(chǎn)業(yè)發(fā)展的催化劑，促進(jìn)整個(gè)工商業(yè)體系的升級(jí)轉(zhuǎn)型。