 感知城市到底需要一款什么樣的芯片？ 作者 | 王剛 雷鋒網(wǎng)按：7 月 12 日至 7 月 14 日，2019 第四屆全球人工智能與機(jī)器人峰會(huì)（CCF-GAIR 2019）于深圳正式召開。峰會(huì)由中國計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）承辦，深圳市人工智能與機(jī)器人研究院協(xié)辦，得到了深圳市政府的大力指導(dǎo)，是國內(nèi)人工智能和機(jī)器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級(jí)交流博覽盛會(huì)，旨在打造國內(nèi)人工智能領(lǐng)域極具實(shí)力的跨界交流合作平臺(tái)。 感知型的城市場(chǎng)景到底需要一款什么樣的芯片？7月13日，大會(huì)迎來了AI芯片專場(chǎng)。會(huì)上，觸景無限科技聯(lián)合創(chuàng)始人兼CEO肖洪波帶來了《重構(gòu)邊緣芯片，讓感知融入城市》的演講。 觸景無限科技聯(lián)合創(chuàng)始人兼CEO肖洪波 肖洪波指出，現(xiàn)有的智慧城市方案在后端打通了數(shù)據(jù)，但受限于網(wǎng)絡(luò)以及處理能力問題，僅能實(shí)現(xiàn)沙粒般的智慧化，智慧城市的進(jìn)一步發(fā)展必然需要三大技術(shù)進(jìn)步：物聯(lián)網(wǎng)、邊緣計(jì)算、通信。只有在前端完成智能分析，以價(jià)值數(shù)據(jù)與后端配合，才能將真正城市量級(jí)的物聯(lián)網(wǎng)數(shù)據(jù)完整利用，打造感知城市。 而要實(shí)現(xiàn)這一點(diǎn)，現(xiàn)有的芯片方案難以滿足我們推動(dòng)前端感知技術(shù)進(jìn)步的需求。 在過去兩年中，觸景無限一共研發(fā)了四代邊緣計(jì)算的產(chǎn)品，基本覆蓋了現(xiàn)在市面上各種前端的芯片解決方案。比如第一代基于嵌入式GPU的產(chǎn)品，隨后的VPU、NPU，以及正在研發(fā)的下一代的基于FPGA的產(chǎn)品。 在產(chǎn)品研發(fā)和方案落地過程中，觸景無限更加清晰認(rèn)識(shí)到，只有掌握芯片設(shè)計(jì)技術(shù)，實(shí)現(xiàn)軟硬件的協(xié)同優(yōu)化，才能實(shí)現(xiàn)真正的前端感知。 在演講結(jié)束后，雷鋒網(wǎng)對(duì)肖洪波進(jìn)行了采訪。 他提到，芯片技術(shù)的發(fā)展到了后期，客戶看重的一定是綜合場(chǎng)景下的效果而不僅僅是加速，未來更細(xì)分的場(chǎng)景會(huì)越來越多，產(chǎn)品落地的時(shí)候不僅僅是技術(shù)問題而是工程問題，比如系統(tǒng)的功耗、外界氣候、溫度等都會(huì)成為關(guān)鍵因素。因此，長期做產(chǎn)品的經(jīng)驗(yàn)也是觸景無限現(xiàn)有團(tuán)隊(duì)的優(yōu)勢(shì)所在。 目前行業(yè)興起一股泛在電力物聯(lián)網(wǎng)、智能安防之風(fēng)，其核心也是圍繞傳感器的感知能力展開，需要專用性的功能會(huì)更多。雖然通用性到專用性是非常長的一個(gè)軸，有很漫長的道路，但觸景無限從一開始就一直圍繞傳感器做感知融合和邊緣計(jì)算，并且會(huì)作為自己的技術(shù)路線堅(jiān)持下去。 采訪中，他還談到，不久之前，在與中國建設(shè)銀行5G+智能銀行的案例上，觸景無限從眾多供應(yīng)商中脫穎而出，憑借盾悟智能盒與智能分析主機(jī)為代表的邊緣智能系統(tǒng)與解決方案，落地了金融科技。 在現(xiàn)階段，從客戶提出需求到集成進(jìn)客戶系統(tǒng)，觸景無限的產(chǎn)品部署在2天內(nèi)即可完成，這意味著觸景無限已生成一套完全量產(chǎn)的邊緣計(jì)算系統(tǒng)，進(jìn)入到了標(biāo)準(zhǔn)化的層次。 從未來來看，金融、安防、電力、應(yīng)急智慧等場(chǎng)景的多種感知能力需求，將有大幅提升。
以下是肖洪波在 CCF-GAIR 大會(huì)上的演講內(nèi)容，雷鋒網(wǎng)對(duì)其進(jìn)行了不改變?cè)獾木庉嬚恚?/strong> 大家下午好！我是來自觸景無限的肖洪波。 我們公司一直專注于邊緣計(jì)算，在邊緣計(jì)算已經(jīng)有很多年的經(jīng)驗(yàn)。我們?cè)谶@一塊有很多落地的應(yīng)用場(chǎng)景，在智慧城市領(lǐng)域包括安防、電力、金融等，特別想借今天這個(gè)機(jī)會(huì)給大家分享一下。 我看到今天有很多關(guān)于邊緣計(jì)算方面的演講，我們想在邊緣計(jì)算方面做更深度的解析，也就是邊緣計(jì)算需要一款什么樣的芯片來提升智慧城市的能力以及為什么邊緣計(jì)算需要對(duì)芯片進(jìn)行重新設(shè)計(jì)。 這是羅蘭貝格2019年智慧城市戰(zhàn)略指數(shù)，調(diào)查的153個(gè)城市里面只有15個(gè)城市達(dá)到或者高于60分，也就是只有10%的城市及格了，90%的城市不及格。智慧城市提出來已經(jīng)有十幾年的歷史了，從最早IBM提出智慧地球開始，大家就在做智慧城市，而云計(jì)算和大數(shù)據(jù)也有十幾年歷史了。我們發(fā)現(xiàn)智慧城市依然沒有達(dá)到理想的效果。 在我們看來，這主要是因?yàn)榇蠹叶己雎粤嗽谶吘壓透兄I(lǐng)域的投入，只在后端打通了一些數(shù)據(jù)，并沒有對(duì)前端更豐富的數(shù)據(jù)進(jìn)行收集和前端的智能分析。從感知領(lǐng)域?qū)Τ鞘羞M(jìn)行重構(gòu)，是一個(gè)非常明顯的趨勢(shì)。 隨著現(xiàn)在的技術(shù)發(fā)展，我們覺得有三個(gè)技術(shù)對(duì)感知城市、智慧城市來說非常重要。 第一是物聯(lián)網(wǎng)技術(shù)，前端多種數(shù)據(jù)的采集，包括圖像、聲音、溫度、氣壓等等。綜合性的感知終端的出現(xiàn)，會(huì)改變前端數(shù)據(jù)的收集策略。 第二是邊緣計(jì)算技術(shù)，計(jì)算從云端又回到邊緣端，主要是因?yàn)樾酒夹g(shù)的發(fā)展使得邊緣擁有越來越強(qiáng)的計(jì)算能力。以前前端傳感器，比如圖像傳感器在前端只是做采集，最終還是需要傳輸?shù)綌?shù)據(jù)中心進(jìn)行處理。而隨著最近一兩年的發(fā)展，大家發(fā)現(xiàn)越來越多前端數(shù)據(jù)可以在前端直接進(jìn)行分析、處理以及響應(yīng)。 第三是通訊技術(shù)的發(fā)展，新一代的物聯(lián)網(wǎng)將會(huì)給我們的城市帶來重大變革。 這是一個(gè)F1賽車。大概二十年前，在F1比賽里面，真正的勝利取決于兩個(gè)點(diǎn)，一個(gè)是車的機(jī)械性能，另外一個(gè)是車手的經(jīng)驗(yàn)，靠這兩個(gè)點(diǎn)基本可以獲得比賽的勝利。但是隨著遙測(cè)技術(shù)的出現(xiàn)，徹底改變了F1比賽規(guī)則。通過讓前端的車和后端計(jì)算機(jī)連接，車手成為了整個(gè)比賽的一部分，F(xiàn)1比賽轉(zhuǎn)變成實(shí)時(shí)的物聯(lián)網(wǎng)系統(tǒng)。 每一臺(tái)F1賽車上有超過幾百個(gè)傳感器，每一圈超過15萬的數(shù)據(jù)量，通過前端傳感器可以實(shí)時(shí)收集和傳輸周圍的環(huán)境數(shù)據(jù)、車輛數(shù)據(jù)，后端計(jì)算機(jī)團(tuán)隊(duì)進(jìn)行分析，把數(shù)據(jù)反饋給前端車手，迅速的做出反應(yīng)策略。其實(shí)城市也需要這樣的變革，通過物聯(lián)網(wǎng)前端收集豐富的環(huán)境數(shù)據(jù)，經(jīng)過分析之后，實(shí)時(shí)調(diào)整城市內(nèi)部的策略。 2018年，“感知城市”被評(píng)為全球十大突破性技術(shù)，這是麻省理工的科技評(píng)論提到的，那怎么通過感知技術(shù)怎么去改變現(xiàn)在的城市？ 在過去智慧城市的建設(shè)當(dāng)中，我們創(chuàng)建了很多信息的孤島，我們有智慧安防系統(tǒng)、交通管理系統(tǒng)，但是它們都是獨(dú)立的，沒有一個(gè)整體的信息收集和分析處理的框架。 可以給大家舉個(gè)例子，我們?cè)谧龈咚俟讽?xiàng)目過程中，發(fā)現(xiàn)有一種天氣對(duì)司機(jī)特別危險(xiǎn)的，這種天氣叫做團(tuán)霧。這種霧不是大面積的霧，大概只有800米-1公里，它會(huì)在整個(gè)路上隨著空氣的流動(dòng)飄蕩。這對(duì)于開車是非常危險(xiǎn)的，大家突然從一個(gè)可見度非常高的環(huán)境沖到一個(gè)看不見的環(huán)境里面去，很容易造成交通事故。那這是一個(gè)天氣應(yīng)用還是一個(gè)交通應(yīng)用呢？我們的高速項(xiàng)目是一個(gè)典型的交通應(yīng)用，但單論團(tuán)霧則是一個(gè)明顯的天氣問題。 然而通過我們的技術(shù)，可以通過高速上攝像頭進(jìn)行可見度分析，非常精確地預(yù)測(cè)團(tuán)霧的移動(dòng)。在這里我們把交通和天氣兩者進(jìn)行了融合處理。在未來我們相信在智慧城市的前端會(huì)出現(xiàn)多傳感器融合的綜合采集處理終端，把多種來自不同傳感器的數(shù)據(jù)進(jìn)行融合，通過前端的智能分析反饋給我們的應(yīng)用系統(tǒng)。 我們相信，未來城市+感知會(huì)變成“感知城市”，通過傳感器技術(shù)和邊緣計(jì)算相結(jié)合，迅速反饋信息到城市的方方面面。 這是最近非?；鸬囊粋€(gè)電視劇《長安十二時(shí)辰》，這是今年智慧城市的大戲，完全就是智慧安防和智慧消防的應(yīng)用，對(duì)實(shí)時(shí)性要求非常高，CIO李必同學(xué)創(chuàng)建了一套用武侯和望樓做的融邊緣計(jì)算為核心的系統(tǒng)，根據(jù)場(chǎng)景來做系統(tǒng)的設(shè)計(jì)，而且這個(gè)系統(tǒng)的設(shè)計(jì)也完全符合Gartner對(duì)邊緣和云的設(shè)計(jì)理念。 今天我看到很多嘉賓都講到了邊緣計(jì)算和云計(jì)算，大家認(rèn)為這是兩個(gè)事物的極端。其實(shí)從邊緣到云之間分了很多層，從邊緣智能到邊緣的智能網(wǎng)關(guān)一直到云的數(shù)據(jù)中心分了七層，每一層里面有很多技術(shù)創(chuàng)新都需要我們?nèi)?shí)現(xiàn)。 對(duì)邊緣計(jì)算來講有幾個(gè)大的技術(shù)點(diǎn)是我們要關(guān)注的，首先是實(shí)時(shí)性，比如毫秒級(jí)的響應(yīng)，這很難在云端實(shí)現(xiàn)，大家可以考慮一下光的傳輸速度就是一個(gè)極限。即使中間不經(jīng)過一些路由器、交換機(jī)、網(wǎng)絡(luò)設(shè)備的運(yùn)算，只是在光纖里面?zhèn)鬏?，如果?shù)據(jù)中心不在本城市，來回傳輸時(shí)間可能就達(dá)到幾十毫秒。當(dāng)我們面對(duì)一些需要在一百甚至幾十毫秒內(nèi)響應(yīng)的場(chǎng)景的時(shí)候，就沒有辦法用云端實(shí)現(xiàn)，需要邊緣端來實(shí)現(xiàn)。 另外，城市里面?zhèn)鞲衅鞣浅６?，?huì)產(chǎn)生大量的數(shù)據(jù)，現(xiàn)在物聯(lián)網(wǎng)上產(chǎn)生的數(shù)據(jù)是遠(yuǎn)遠(yuǎn)超過如今互聯(lián)網(wǎng)數(shù)據(jù)流量的。而且我們?cè)诤芏囗?xiàng)目實(shí)施過程中會(huì)發(fā)現(xiàn)，在數(shù)據(jù)中心存在著大量數(shù)據(jù)丟失的情況，很多幀都丟掉了，因?yàn)榫W(wǎng)絡(luò)的穩(wěn)定性不夠，帶寬也不支持傳輸全部信息到數(shù)據(jù)中心。而且還有各種隱私問題、本地響應(yīng)的問題，這些都決定了邊緣人工智能是未來人工智能落地的重要技術(shù)基礎(chǔ)，而不是云端。 我們?cè)谶^去幾年時(shí)間里面一直專注做邊緣計(jì)算，已經(jīng)推出多款邊緣計(jì)算的產(chǎn)品，這里列了其中兩個(gè)：盾悟智能盒、盾悟智能分析主機(jī)，采用了用前端深度學(xué)習(xí)的加速陣列，功耗僅15瓦，支持多種算法處理，包括人臉、行人、ReID的前端圖像的處理算法。 而除了產(chǎn)品，我們還在其基礎(chǔ)上構(gòu)建了一套分布式邊緣智能系統(tǒng)，我們?cè)O(shè)計(jì)了可以并聯(lián)處理的標(biāo)準(zhǔn)單元，由前端傳感器、邊緣智能盒、智能網(wǎng)關(guān)組成，可以在前端進(jìn)行各類數(shù)據(jù)的采集與處理，可以將結(jié)果傳輸?shù)胶蠖说膽?yīng)用平臺(tái)，進(jìn)行進(jìn)一步的處理反饋。最近我們剛剛做的地鐵刷臉進(jìn)站系統(tǒng)，就是把車站的系統(tǒng)分成多個(gè)節(jié)點(diǎn)來進(jìn)行處理，從而實(shí)現(xiàn)在一兩百毫秒時(shí)間內(nèi)實(shí)現(xiàn)刷臉進(jìn)站。 在物聯(lián)網(wǎng)感知系統(tǒng)的應(yīng)用方面我想舉一個(gè)例子，通過例子來說明我們?cè)谇岸说降子惺裁礃拥男枨?。這是我們?cè)谖錆h做的城市交通的物聯(lián)網(wǎng)方案：電子警察系統(tǒng)（見PPT）。在中國大量的車禍都是因?yàn)椴缓弦?guī)的開車引起的，雖然我們的交通法規(guī)里面制定了很多條款，但是因?yàn)榧夹g(shù)沒有辦法抓到這些行為，基本上大家的電子警察只抓一個(gè)闖紅燈。但相信在上了我們這套系統(tǒng)之后，會(huì)對(duì)我們的開車行為有更大的規(guī)范性。 我們的電子警察系統(tǒng)，使用一個(gè)攝像機(jī)可以同時(shí)覆蓋多個(gè)車道，前端可以同時(shí)抓16種違章行為。而目前的違章抓拍都是一個(gè)攝像機(jī)覆蓋一條車道。我們和武漢交警的測(cè)試中，和之前的數(shù)據(jù)相比，路口抓拍的違章數(shù)量上升了20倍。以前一個(gè)月平均只能抓拍三十多個(gè)違章，而現(xiàn)在一個(gè)月抓了七百多個(gè)違章。我們的抓拍率達(dá)到了98.66%，遠(yuǎn)超友商。 我們?cè)谶@套系統(tǒng)中采用了前端感知技術(shù)，使用了特殊的圖像傳感器、多種并行的高速算法。而以往的系統(tǒng)往往支持一種算法，我們可以將除了車輛違規(guī)檢測(cè)以外的模型同時(shí)跑起來，像人臉模型，團(tuán)霧檢測(cè)模型，都可以實(shí)時(shí)并行處理響應(yīng)。 在過去兩年時(shí)間里面，我們公司一共研發(fā)了四代邊緣計(jì)算的產(chǎn)品，基本覆蓋了現(xiàn)在市面上各種前端的芯片解決方案，比如第一代基于嵌入式GPU的產(chǎn)品，隨后VPU和NPU的產(chǎn)品，而最近也正在研發(fā)的下一代的基于可編程芯片的產(chǎn)品。這些芯片都是非常優(yōu)秀，但是我們依然覺得有非常大的提升空間，我們覺得前端需要一款全新的芯片解決智慧城市里面碰到的問題。 對(duì)于前端的感知系統(tǒng)來講，它是這樣一個(gè)系統(tǒng)，從場(chǎng)景開始，經(jīng)過光學(xué)部分，到達(dá)圖像傳感器，經(jīng)過ISP處理，傳統(tǒng)處理方式事通過編解碼傳輸?shù)皆贫?，直接做處理。我們認(rèn)為感知系統(tǒng)，應(yīng)該融合多種傳感器，不僅僅是光學(xué)的傳感器，還有聲音、激光雷達(dá)等其他傳感器的數(shù)據(jù)。前端感知系統(tǒng)經(jīng)過分析之后，可以對(duì)這些傳感器進(jìn)行動(dòng)態(tài)調(diào)節(jié)，從而獲取想要的數(shù)據(jù)。不僅僅是拍照記錄，而是根據(jù)我關(guān)心的場(chǎng)景，比如交通的場(chǎng)景、安防的場(chǎng)景，根據(jù)這些場(chǎng)景對(duì)傳感器進(jìn)行更細(xì)粒度的調(diào)節(jié)，獲取更好的圖像或者更好的其他傳感器的數(shù)據(jù)。 那么感知的場(chǎng)景到底需要一款什么樣的芯片？從做芯片的角度來說，一個(gè)是做通用芯片，包括CPU、GPU以及做深度學(xué)習(xí)加速的一些芯片，都是通用芯片。一種是專用芯片。我們認(rèn)為，在感知的場(chǎng)景里面需要的是一個(gè)專用SOC，把感知能力在芯片里面做實(shí)現(xiàn)。 我們的芯片設(shè)計(jì)在三方面滿足了前端需求：高性能、低功耗、感知融合。 高性能和低功耗比較容易理解，因?yàn)檫@是邊緣的芯片，對(duì)功耗特別敏感。另外一點(diǎn)是傳感器和AI處理的融合，我覺得這是前端芯片最核心的能力，因?yàn)樵谖锫?lián)網(wǎng)領(lǐng)域或者在邊緣領(lǐng)域，它的核心數(shù)據(jù)來源就是在傳感器這個(gè)地方，怎么能夠把智能和傳感器真正融合在一起，才是我們要去解決的問題。 在前端感知芯片里面有幾個(gè)大的模塊組成，第一部分是來自圖像的數(shù)據(jù)，當(dāng)然也有其他的傳感器數(shù)據(jù)，有一些DSP來進(jìn)行處理。來自于圖像傳感器的數(shù)據(jù)有一個(gè)智能的AIISP的處理，來進(jìn)行動(dòng)態(tài)調(diào)節(jié)處理。關(guān)鍵的AI處理部分是并行神經(jīng)網(wǎng)絡(luò)加速單元。 現(xiàn)在大家看到很多AI的芯片都是單核芯片，所有的模型都是要串行計(jì)算，也就是放一個(gè)模型進(jìn)行運(yùn)算，出來一個(gè)結(jié)果，另一種傳感器的數(shù)據(jù)或者其他功能要換另一個(gè)模型再進(jìn)行處理。但感知系統(tǒng)和人的眼睛一樣，同時(shí)有多個(gè)功能在運(yùn)行，這就需要你在前端有一個(gè)并行的神經(jīng)網(wǎng)絡(luò)來加速。另外，芯片中也包括一些編解碼等功能模塊，這些都是比較成熟。 我們從去年公開感知芯片計(jì)劃的時(shí)候，也一同公開了我們?cè)诿绹顿Y的一家物聯(lián)網(wǎng)芯片技術(shù)公司Inspirit IoT。在剛剛過去的2019年DAC大賽中，我們的神經(jīng)網(wǎng)絡(luò)加速模型獲得了第一名的成績，與其他的一些GPU進(jìn)行比較也是第一名，我們可以達(dá)到最高50倍的DNN加速效率，而能效比方面也達(dá)到了8TOPS/W。 在感知融合上，我們會(huì)通過邊緣多傳感器融合模型，把多種來自于不同傳感器的數(shù)據(jù)在前端進(jìn)行深度學(xué)習(xí)的數(shù)據(jù)融合處理，獲取全面而又精準(zhǔn)的數(shù)據(jù)，實(shí)現(xiàn)對(duì)實(shí)際場(chǎng)景功能需求的滿足。 在ROI方面，我們也進(jìn)行也較為深度的優(yōu)化。傳統(tǒng)的ISP技術(shù)強(qiáng)調(diào)的是拍照或者做視頻，但是IoT場(chǎng)景里面關(guān)注的是信息點(diǎn)，怎么對(duì)信息點(diǎn)來進(jìn)行智能的調(diào)節(jié)。就像剛才提到的交通場(chǎng)景一樣，用了超寬幅的相機(jī)，但我們并不關(guān)心整幅圖像，我們需要在前端對(duì)關(guān)心的目標(biāo)進(jìn)行處理，比如說車輛、人臉，我們會(huì)在前端將感興趣區(qū)域抓取出來，根據(jù)場(chǎng)景實(shí)現(xiàn)像素級(jí)的ISP優(yōu)化。主要分兩塊，一個(gè)是目標(biāo)相關(guān)，另外一個(gè)是場(chǎng)景相關(guān)，例如根據(jù)周圍的光照調(diào)節(jié)。 此外我們芯片中也包含了較為出色的細(xì)節(jié)優(yōu)化算法，可以利用多幀算法對(duì)局部細(xì)節(jié)進(jìn)行優(yōu)化，這也是對(duì)未來傳感器提出的挑戰(zhàn)。雖然大家用的產(chǎn)品都是幾十幀的幀率，但實(shí)際上目前傳感器可以支持到1000幀，只是很難傳輸出來，而我們?cè)谶@類傳感器上，可以利用算法來進(jìn)行優(yōu)化，有助于我們可以獲取更好的圖像或者數(shù)據(jù)的質(zhì)量。 今年我們也將和英特爾進(jìn)一步合作（見PPT），一起開發(fā)一套優(yōu)化的框架，把感知的算法在英特爾的FPGA上進(jìn)行實(shí)現(xiàn)。我們會(huì)實(shí)現(xiàn)非常高的能耗比提升，包括算法自適應(yīng)的優(yōu)化和移植，這里面包含了非常高效的高層綜合工具，自動(dòng)產(chǎn)生RTL的FPGA碼，將感知算法快速移植到FPGA的平臺(tái)上去。 從感知角度來講，我們認(rèn)為首先要從場(chǎng)景角度去滿足需求，而不是從技術(shù)、深度學(xué)習(xí)的角度出發(fā)，怎么樣對(duì)計(jì)算加速。我們是要解決產(chǎn)品和場(chǎng)景里面碰到的挑戰(zhàn)和問題，提供更易于使用的感知芯片，實(shí)現(xiàn)一個(gè)軟件內(nèi)核級(jí)和芯片架構(gòu)級(jí)的綜合產(chǎn)品。謝謝大家！ |
|
|
