英特爾首款A(yù)I芯片終于發(fā)布：訓(xùn)練推理兩用，歷時4年花費5億美元買來4家公司

2016xing 2019-08-22

展開全文

邊策魚羊發(fā)自凹非寺
量子位報道 | 公眾號 QbitAI

歷時4年，壕購4家創(chuàng)業(yè)公司，花費超過5億美元，終于發(fā)布第一款A(yù)I芯片。

這就是芯片半導(dǎo)體巨頭英特爾，今日搞出的大新聞。

該AI芯片取名Nervana神經(jīng)網(wǎng)絡(luò)處理器（NNP）。兩個方向可用：NNP-T用于訓(xùn)練，NNP-I主打推理。

算力性能也有競爭力，但發(fā)布后慘遭網(wǎng)友神吐槽：分分鐘搞出一個過時的芯片。

具體詳情究竟如何？我們先看貨、再評價。

英特爾首款A(yù)I芯片

神經(jīng)網(wǎng)絡(luò)訓(xùn)練處理器NNP-T中的“T”指Train，也就是說這款芯片用于AI推理，處理器代號為Spring Crest。

訓(xùn)練機(jī)器學(xué)習(xí)模型是開發(fā)AI過程中計算量最大的部分，這部分包含大量的矩陣和矢量數(shù)學(xué)運(yùn)算發(fā)生時，正是英特爾CPU能力欠缺的部分。

NNP-T將由英特爾的競爭對手臺積電（TSMC）制造，采用16nm FF+工藝。

NNP-T有270萬個16nm晶體管，硅片面積680平方毫米，60mmx60mm 2.5D封裝，包含24個張量處理器組成的網(wǎng)格，核心頻率最高可達(dá)1.1GHz，60MB片上存儲器，4個8GB的HBM2-2000內(nèi)存，它使用x16 PCIe 4接口，TDP為150~250W。

每個張量處理單元都有一個微控制器，用于指導(dǎo)是數(shù)學(xué)協(xié)處理器的運(yùn)算，還可以通過定制的微控制器指令進(jìn)行擴(kuò)展。

NNP-T支持3大主流機(jī)器學(xué)習(xí)框架：TensorFlow、PyTorch、PaddlePaddle，還支持C++ 深度學(xué)習(xí)軟件庫、編譯器nGraph。

在算力方面，英特爾表示，這款芯片最高可以達(dá)到每秒119萬億次操作（119TOPS），但是英特爾并未透露是在INT8還是INT4上的算力。作為對比，英偉達(dá)Tesla T4在INT8上算力為130TOPS，在INT4上為260TOPS。

另一款是用于AI推理的芯片NNP-I，代號Spring Hill，它采用英特爾自己的10nm工藝，基于Ice Lake處理器。

對于這款芯片，英特爾主打的是其能效比，在數(shù)據(jù)中心推理工作負(fù)載中，它的效率達(dá)4.8TOPs/W，功率范圍可以在10W到50W之間。

NNP-I接口為PCIe 4 x4/x8，如果說NNP-T從外觀上來看像顯卡，那么NNP-I則像是一塊SSD。NNP-I的特點是集成了12個推理計算引擎（ICE）。

ICE由深度學(xué)習(xí)計算網(wǎng)格、可編程矢量處理器、高帶寬內(nèi)存接口、超大本地緩存幾個部分組成，支持FP16、INT8、INT 4/2/1。

在ResNet50上，NNP-I在10W的功率水平上每秒可以完成3600次推理，每瓦每秒可以處理360張圖片。

針對主要數(shù)據(jù)中心推理工作負(fù)載，NNP-I能做到在很寬的功率范圍內(nèi)具有可擴(kuò)展的性能、不影響能效比的高度可編程性，從而在單位功率上實現(xiàn)最佳性能。

NNP-I支持的深度學(xué)習(xí)軟件有：ONNX，nGraph，OpenVINO，C++。

NNP-T、NNP-I這兩款芯片都是用于數(shù)據(jù)中心。

英特爾副總裁、AI事業(yè)部負(fù)責(zé)人Naveen Rao表示：

“數(shù)據(jù)中心和云計算需要訪問高性能和可擴(kuò)展的通用計算，以及復(fù)雜AI應(yīng)用程序的專用加速。在未來的AI愿景中，需要采用從硬件到軟件再到應(yīng)用程序的整體方法?！?/p>

英特爾NNP的發(fā)布，意味著企業(yè)在谷歌、英偉達(dá)的硬件之外又有了新的選項，AI硬件行業(yè)的競爭越來越激烈。

從英特爾的官方數(shù)據(jù)來看，NNP-I在推理上的速度已經(jīng)超過英偉達(dá)Tesla P4的水平，雖然和V100仍有差距，但是已經(jīng)縮小到50%以內(nèi)，而不再是數(shù)量級上的差距。

不僅為了在硬件上取得突破，英特爾收購Nervana還有軟件上的考量，Nervana這家公司有深度學(xué)習(xí)模型的Python軟件Neon，還有一個全棧的AI云端平臺Nervana Cloud。

多年積累

英特爾早已將AI芯片業(yè)務(wù)看作未來發(fā)展的大方向。

2018年，英特爾的AI芯片部門收入達(dá)10億美元，英特爾預(yù)計這一市場還會以每年30%的速度增長，從2017年的25億美元，到2022年增長至100億美元。

而在AI芯片領(lǐng)域的排兵布陣，開始得更早。

為了在與英偉達(dá)、高通和AMD等公司的競爭中立于不敗之地，英特爾這家半導(dǎo)體領(lǐng)域的巨頭不僅每年投入上百億美元的研發(fā)資金，還實施了不少頗具戰(zhàn)略價值的收購計劃。

2015年，英特爾收購了現(xiàn)場可編程門陣列（FPGA）制造商Altera，之后推出了基于FPGA的專用深度學(xué)習(xí)加速卡。

2016年，并購深度學(xué)習(xí)芯片公司Nervana Systems，填補(bǔ)其在硬件平臺產(chǎn)品的空白，并為全新一代AI加速器芯片組奠定了基礎(chǔ)。同時，Nervana的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Naveen Rao也加入了英特爾，成為英特爾AI戰(zhàn)略的總策劃師。

同年，英特爾還收購了Movidius，這家公司專門為計算機(jī)視覺設(shè)計低功耗處理器芯片。

2018年，英特爾又將開發(fā)AI模型套件的創(chuàng)業(yè)公司Vertex.ai收入囊中。

研發(fā)并購雙頭并進(jìn)，于是早在2017年，英特爾就宣布其正在研發(fā)兩款A(yù)I芯片，并在2018年1月的國際消費電子展（CES）新聞發(fā)布會上進(jìn)一步詳細(xì)介紹了Nervana神經(jīng)網(wǎng)絡(luò)處理器（NNP-I）。

而在去年的英特爾人工智能開發(fā)者大會（AI DevCon 2018）上，英特爾首次演示了開發(fā)中的第一個商用神經(jīng)網(wǎng)絡(luò)處理器（NNP）產(chǎn)品Spring Crest，與初代NNP芯片Lake Crest相比，這款產(chǎn)品的訓(xùn)練性能提升了3-4倍。

英特爾副總裁、AI事業(yè)部負(fù)責(zé)人Naveen Rao表示：

有超過50%的美國企業(yè)正在轉(zhuǎn)向基于英特爾至強(qiáng)處理器的云解決方案，以滿足他們在人工智能方面的需求，這肯定了包括英特爾至強(qiáng)處理器，英特爾Nervana和英特爾Movidius技術(shù)以及英特爾FPGA的方法，滿足了人工智能工作負(fù)載的獨特需求。

不久之前的百度AI開發(fā)者大會上，Naveen Rao也親臨現(xiàn)場，宣布與百度攜手打造用于訓(xùn)練AI的神經(jīng)網(wǎng)絡(luò)處理器。