云天勵飛并不是想證明其AI芯片業(yè)界最強，更關(guān)鍵的是Deepeye1000是云天勵飛芯片即服務(wù)的一個重要節(jié)點。

 文 | 包永剛 

近幾年的AI芯片發(fā)布會上常常會出現(xiàn)這樣一張對比圖，自研AI芯片性能與對比英偉達GPU性能的對比，這說一方面明了英偉達在云端AI芯片市場的地位，但也說明了市場缺乏一個判斷AI芯片性能的標準。

相同問題在邊緣端AI芯片中也存在。因此，為了能夠更直觀地展現(xiàn)芯片性能，云天勵飛在2019深圳高交會期間發(fā)布首款5AIoT芯片Deepeye1000時從AI芯片最關(guān)鍵的性能、帶寬、成本與海思NNIE進行了對比.結(jié)果顯示，Deepeye1000平均性能提升了10倍，平均帶寬降低40%，平均成本降低60%。

不過，云天勵飛并不是想證明其AI芯片業(yè)界最強，更關(guān)鍵的是Deepeye1000是云天勵飛芯片即服務(wù)的一個重要節(jié)點。

NNIE（Neural Network Inference Engine ）是海思媒體SoC 中專門針對神經(jīng)網(wǎng)絡(luò)特別是深度學(xué)習卷積神經(jīng)網(wǎng)絡(luò)進行加速處理的硬件單元。云天勵飛之所以選擇對比NNIE，道理與云端AI芯片對比英偉達GPU一個道理，用更直觀的方式展現(xiàn)其DeepEye1000的AI能力。而之所以選擇海思，是因為在視頻監(jiān)控芯片領(lǐng)域處于領(lǐng)導(dǎo)地位，用這樣的對比能夠更直觀地說明DeepEye1000在AI視覺領(lǐng)域以及邊緣計算中的能力。

云天勵飛董事長兼CEO陳寧在發(fā)布會上介紹，我們的第一代芯片叫做初芯，經(jīng)歷了三年的奮戰(zhàn)最終推出。功夫不負有心人，DeepEye1000流片回來一個星期就跑通了人像識別、人臉識別的全鏈路算法，一個月后就亮相了去年的高交會，并且跑通了完整業(yè)務(wù)的Demo，兩個月的時間跑通了100萬人像的4K以及基于4K的200個人像抓拍和識別的全功能。

云天勵飛董事長兼CEO陳寧

據(jù)悉，云天初芯DeepEye1000專注邊緣和端側(cè)視覺應(yīng)用，采用22nm工藝，基于多核異構(gòu)并行計算架構(gòu)設(shè)計，內(nèi)置四核神經(jīng)網(wǎng)絡(luò)處理器，可支持INT16 / INT12 / INT8混合精度量化數(shù)據(jù)，采用存算融合體系架構(gòu)和可重構(gòu)計算陣列，可以靈活、高效的執(zhí)行各種深度學(xué)習算法模型的推理計算，峰值算力達2.0Tops。

其中，DeepEye1000神經(jīng)網(wǎng)絡(luò)處理器由云天勵飛自主研發(fā)，深度定制指令集，定制指令多達160條以上，支持主流神經(jīng)網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)處理器采用可重構(gòu)計算陣列，支持靈活可編程計算流，計算效率超過99%，同時采用存算融合體系架構(gòu)，使得DDR存儲訪問帶寬下降77%，功耗下降60%。

CPU采用RISC-V指令集的平頭哥玄鐵810，工作頻率達到1.2GHz，雙發(fā)射10級流水線，性能高于2.5 DMIPS/MHz。還集成了雙核視覺DSP處理器，內(nèi)置硬件加速運算子ACC，支持超過20個高效算子，每秒可跟蹤1200張人臉。另外，還支持H.264和H.265解碼，可支持4K@30fps視頻、4路高清視頻并行的實時分析。

關(guān)注AI芯片的人都知道，國內(nèi)清微智能的芯片也采用的可重構(gòu)的架構(gòu)，兩者是否相同？云天勵飛副總裁 芯片產(chǎn)品線負責人李愛軍接受雷鋒網(wǎng)采訪時表示，云天的實現(xiàn)方式是從PE的維度進行可重構(gòu)，可以理解為是運算單元的可重構(gòu)，通過工具鏈實現(xiàn)芯片的靈活性。因此，采用的方式和維度會有所不同，但最終的效果應(yīng)該是異曲同工。

這種靈活性是否能夠滿足所有場景的需求？李愛軍表示，在我們覆蓋的場景里，能夠滿足客戶超過90%的需求。

不過，AI芯片除了要找到靈活性和性能的平衡點，還需要解決卷積計算帶來的高帶寬挑戰(zhàn)。對此，云天勵飛是通過結(jié)構(gòu)的設(shè)計，并且配合軟件工具鏈，盡量提高數(shù)據(jù)的復(fù)用程度。更近一步，李愛軍表示，通過軟硬協(xié)同，AI算法映射到我們的神經(jīng)網(wǎng)絡(luò)處理器時，CI和CO我們做的非常好，這樣就可以實現(xiàn)很高的并行度，并且，我們的架構(gòu)設(shè)計還能實現(xiàn)多核之間參數(shù)和數(shù)據(jù)的復(fù)用。

最終，Deepeye1000實現(xiàn)了在AI算法和算力相同的情況下，比NNIE平均能夠節(jié)省40%的帶寬。雷鋒網(wǎng)了解到，Deepeye1000采用的是云天勵飛自主研發(fā)的第二代神經(jīng)網(wǎng)絡(luò)架構(gòu)，第一代架構(gòu)由于AI市場的快速發(fā)展以及需求還不夠巨大等原因，只是通過FPGA進行了商用，并沒有流片量產(chǎn)。

AI芯片的峰值性能并不代表其實際能力，在實際應(yīng)用中的平均算力對于才更有參考價值。需要指出，云天勵飛給出的Deepeye1000對比NNIE的10倍平均性能提升并非峰值性能而是算法執(zhí)行性能IPS（Images Per Second Per 1Tops）。

陳寧表示，在人工智能時代，我們更加關(guān)注的是面向場景的有效算力，因為人工智能今天還處于非常早期的階段，還沒有進入通用人工智能時代，更不存在通用的AI芯片。有效算力=算力X效率XAI性能，對應(yīng)的就是芯片、工具鏈以及算法應(yīng)用。

云天勵飛提供的芯片工具鏈是DETVM，具有5大特性，分別是高可用、全自動、高性能、可編程、完備性。這其中值得關(guān)注的是這個工具鏈兼容TVM開源生態(tài)，因為大部分AI芯片提供商更多的是在強調(diào)其芯片的性能以及工具鏈的高效易用性，但大都沒有兼容開源生態(tài)。

“我們認為，AI之所以能發(fā)展這么快，與開源有著密不可分的關(guān)系。云天勵飛選擇開源社區(qū)，是希望能促進神經(jīng)網(wǎng)絡(luò)處理器硬件的快速發(fā)展。”李愛軍表示。

DETVM對于開源社區(qū)的意義在于，云天勵飛基于TVM，打通了CPU、DSP、NNP，一個統(tǒng)一的軟件框架把這些架構(gòu)整合起來，不需要再去面對DSP復(fù)雜的編程，并且遵循接口標準就能夠很容易的集成自己設(shè)計的深度學(xué)習加速器。

至于更上層的算法，李愛軍表示，“如果用傳統(tǒng)的芯片和算法由不同的公司來做的方法，芯片的效率將會大打折扣，因此云天勵飛是面向場景做協(xié)同設(shè)計和協(xié)同工作，為的就是讓AI的效果能夠達到預(yù)期。另外，算法公司要將算法移植到一個平臺上，必須經(jīng)歷平臺的學(xué)習時間，這可能需要花費半年甚至一年的時間?！?/strong>

據(jù)了解，為了加速開發(fā)者的進度，云天勵飛不僅已經(jīng)能夠提供配合芯片的硬件模組，還提供算法共享平臺ARCTERN，這個平臺自帶100種以上的算法，與Deepeye1000高度適配。并且這些算法還支持Android、Linux，它是一個非常開放的SDK。

基于云天勵飛發(fā)布的芯片，他們還發(fā)布了芯片即服務(wù)-人工智能“星云”生態(tài)戰(zhàn)略，與?？低?、優(yōu)必選科技、深圳超算中心、阿里巴巴平頭哥、TCL、京東、深圳巴士集團、邁德威視等8家首批合作伙伴，共同開啟“星云”生態(tài)，加速AI向產(chǎn)業(yè)滲透。

不過，云天勵飛還有更遠大的目標。云天勵飛首席科學(xué)家王孝宇提出了“雙11開放AI生態(tài)計劃”，他表示，云天勵飛過去5年投入1億美金的研發(fā)成果，將共享給合作伙伴，致力于幫助合作伙伴解決AI開發(fā)周期長、投入大的問題， “我們將本著降低AI門檻的目標，為合作伙伴提供‘雙11’的AI開發(fā)能力，也就是說，我們將幫助合作伙伴在1周完成硬件、1周適配算法、1周對接服務(wù)，最終在1個月內(nèi)完成AI能力的從無到有。”

王孝宇認為，AI大大規(guī)模應(yīng)用有三個門檻，第一個是芯片成本太高，一塊GPU就需要幾千美金，二是算法需要投入大量的人力，三是云服務(wù)需要大數(shù)據(jù)人才。

可以看到，云天勵飛將AI芯片的成本從幾千美金降低到了10美金，且芯片功耗更低算力也足夠滿足邊緣應(yīng)用需求，還提供了ARCTERN算法共享平臺。但還缺少云服務(wù)，因此，云天勵飛開發(fā)了云服務(wù)平臺商簿Vesionbook，商簿家族由1 個大腦-AI數(shù)字商場大腦和1 個平臺-AI Campus場景管理平臺構(gòu)成，支持30種以上的業(yè)務(wù)場景。主要的工作就是完成從終端到云端的業(yè)務(wù)標準化。云天勵飛把準化的協(xié)議叫做SIK（Service Integration Kit），通過幾條指令就可以和云端通信，不需要再去開發(fā)。

王孝宇補充表示，如果客戶的業(yè)務(wù)場景沒有包含在這30種當中，還可以通過Open API構(gòu)建自己開發(fā)定制化的場景。

既然場景定義定制，算法是否也可以定制？“我們和深圳超算聯(lián)合發(fā)布一套系統(tǒng)AIOS，它是無門檻一站式算法研發(fā)平臺，點擊鼠標點擊就可以完成AI算法的研發(fā)，不僅可以把AI算法研發(fā)的成本從幾百萬降到一萬以下，還能把算法的研發(fā)周期降到一個月。” 王孝宇介紹。

從芯片到工具鏈，從算法到場景，從芯片即服務(wù)到雙11開放AI生態(tài)計劃。云天勵飛的更遠大的目標是讓AI應(yīng)用零門檻。這個目標是可實現(xiàn)的嗎？雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))認為云天勵飛選擇的路徑值得期待。成立于2014年的云天勵飛首先用過兩年時間打造了全球第一套動態(tài)人像識別系統(tǒng)，而后迅速產(chǎn)業(yè)化落地。如今云天勵飛的視覺大腦在北京、上海、深圳、杭州等近100個城市都有產(chǎn)業(yè)化的落地，覆蓋了機場、地鐵、社區(qū)、大型商超、火車站等智慧城市的生活場景，也服務(wù)了G20、APEC、港珠澳大橋等一系列重要會議和重要工程。

人像識別系統(tǒng)更多的讓云天勵飛深刻地了解了AI落地的場景，積累了算法能力，并且基于對場景和算法的理解開始芯片的自主研發(fā)。積累五年之后，以系統(tǒng)公司的方式為市場提供全棧的解決方案，這樣的能力既能夠服務(wù)有場景但是沒有技術(shù)積累的公司，也能夠服務(wù)有算法但沒有芯片的公司，通過全面、多樣的產(chǎn)品最大程度降低AI的落地門檻，可以看到，云天勵飛在智能安防以及新商業(yè)領(lǐng)域取得了不錯的成績。

為滿足更多場景的需求并且提供穩(wěn)定的計算平臺，李愛軍透露云天勵飛的芯片將保持一年到一年半更新一代的速度，下一款A(yù)I芯片預(yù)計將會在2021年上半年推出。目前，Deepeye1000芯片選用的工藝能夠滿足工業(yè)市場的需求，未來也會應(yīng)用在ADAS。

更長遠的未來，云天勵飛也可能會推出云端AI芯片。

這樣的實力也是云天勵飛能夠成為唯一一家企業(yè)能夠承擔科技創(chuàng)新2030“新一代人工智能”重大項目的關(guān)鍵。云天勵飛還獲得了國家科技部、發(fā)改委、工信部三大部委人工智能芯片重大項目“大滿貫”！

站在5G商用的元年，5G和AI將會帶來許多意想不到的應(yīng)用，但可以遇見的是新的應(yīng)用將會對芯片的算力提出更高的要求，而更重要的是能夠更加容易的落地。云天勵飛Deepeye1000 AI芯片的推出，只是其全棧解決方案中核心的一部分，基于這個核心的能力，云天勵飛可以構(gòu)建具有足夠競爭力的AI解決方案，我們也期待AI應(yīng)用零門檻的目標早日實現(xiàn)。