芯潮（ID：aichip001） 文 | 韋世瑋復(fù)古運(yùn)動(dòng)鞋ipad2 3g版iphone5什么時(shí)候發(fā)布

導(dǎo)語(yǔ)：在業(yè)界一邊為WSE的誕生振奮卻又擔(dān)憂其商業(yè)價(jià)值時(shí)，美國(guó)能源部的兩大實(shí)驗(yàn)室成為了“第一個(gè)吃螃蟹的人”。

智東西9月18日消息，據(jù)悉，全球有史以來(lái)最大的計(jì)算機(jī)芯片Cerebras WSE終于要真正地落地使用了。該芯片將被用于美國(guó)能源部的阿貢國(guó)家實(shí)驗(yàn)室（Argonne National Laboratory）和勞倫斯·利弗莫爾國(guó)家實(shí)驗(yàn)室（Lawrence Livermore National Laboratory）的AI計(jì)算機(jī)中。

這顆芯片由美國(guó)創(chuàng)企Cerebras在今年8月的Hot Chips大會(huì)上發(fā)布，以46225平方毫米的面積成為有史以來(lái)規(guī)模最大的AI芯片，同時(shí)它還包含1.2萬(wàn)億個(gè)晶體管，旨在用于深度學(xué)習(xí)的加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

此前，Cerebras計(jì)劃在今年第四季度開始銷售基于筆記本大小芯片的電腦。而美國(guó)能源部的這兩個(gè)實(shí)驗(yàn)室也將成為全球首批安裝采用Cerebras WSE芯片制造的AI計(jì)算機(jī)的機(jī)構(gòu)之一。

一、比Tesla V100大56倍，支持超大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練

目前，加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練通常在基于GPU的服務(wù)器的大型數(shù)據(jù)中心里進(jìn)行。

而英偉達(dá)的GPU則占了深度學(xué)習(xí)芯片市場(chǎng)的絕大多數(shù)份額。該公司在2017年發(fā)布的旗艦GPU Tesla V100，其核心面積達(dá)到815平方毫米，晶體管超過(guò)210億個(gè)。

但Cerebras WSE的出現(xiàn)，也許將給這一市場(chǎng)帶來(lái)新的激烈競(jìng)爭(zhēng)，僅從它46225平方毫米面積和1.2億個(gè)晶體管的參數(shù)來(lái)看，就已經(jīng)是Tesla V100的56倍有余。

更具體地說(shuō)，這顆比ipad還大的WSE芯片的每邊約22厘米（約8.5英寸），采用臺(tái)積電16nm制程，擁有400000個(gè)AI優(yōu)化核心和18 Gigabytes片上內(nèi)存。

帶寬方面，WSE還有著9 PByte/s內(nèi)存帶寬和100 Pbit/s fabric帶寬。

雖然與通常的芯片相比，WSE又大又厚，但它卻可以承載起谷歌和亞馬遜等科技巨頭所創(chuàng)建的超大規(guī)模神經(jīng)網(wǎng)絡(luò)所需的并行處理速度。

針對(duì)這一方面，Cerebras創(chuàng)始人兼CEO Andrew Feldman表示，這個(gè)巨型處理器不僅能夠完成數(shù)百個(gè)GPU的集群工作，其具體能完成的量將取決于手頭的任務(wù)，同時(shí)它也將消耗更少的能源和空間。

二、WSE的三大特性

在訓(xùn)練AI系統(tǒng)方面，F(xiàn)eldman曾表示W(wǎng)SE的速度可以比現(xiàn)有的硬件快100到1000倍。

總的來(lái)說(shuō)，WSE主要在AI算力、存儲(chǔ)、帶寬這三個(gè)方面，擁有超乎目前市場(chǎng)上絕大多數(shù)AI芯片的優(yōu)勢(shì)。

在AI算力方面，WSE包含了400000個(gè)稀疏線性代數(shù)（SLA）內(nèi)核，每個(gè)AI優(yōu)化核心都靈活可編程，并針對(duì)支撐大多數(shù)神經(jīng)網(wǎng)絡(luò)的計(jì)算進(jìn)行了優(yōu)化。

基于它的可編程性，WSE還能確保內(nèi)核在不斷變化的機(jī)器學(xué)習(xí)領(lǐng)域中運(yùn)行所有的算法。同時(shí)，它還能夠提供更快的AI訓(xùn)練速度。

在存儲(chǔ)方面，WSE擁有更高效、高性能的片上存儲(chǔ)優(yōu)勢(shì)。它具有18 GB的片上存儲(chǔ)器，可在單個(gè)時(shí)鐘周期內(nèi)訪問(wèn)，并提供9 PB/s的存儲(chǔ)器帶寬。

此外，與英偉達(dá)的Tesla V100相比，WSE的容量是它的3000倍，帶寬是它的10000倍。不僅如此，WSE還能實(shí)現(xiàn)更快速靈活的計(jì)算、更低的延遲和能耗。

在帶寬方面，WSE擁有更高寬帶和更低延遲的通信結(jié)構(gòu)。它的400000個(gè)內(nèi)核能夠通過(guò)一個(gè)名為“Swarm”的片上通信結(jié)構(gòu)，連接在一個(gè)帶有100 Pb/s帶寬的2D網(wǎng)格中。

Swarm能完全可配置，以支持訓(xùn)練用戶指定模型所需的精確通信。同時(shí)，對(duì)于每個(gè)神經(jīng)網(wǎng)絡(luò)，它還提供獨(dú)特且優(yōu)化的通信路徑。

三、將集成至美國(guó)能源部超級(jí)計(jì)算機(jī)中

在WSE面世時(shí)，F(xiàn)eldman并未就芯片的成本 、售價(jià)和實(shí)用性作出相關(guān)的回應(yīng)。因此，在WSE給人們帶來(lái)驚喜時(shí)，其商用價(jià)值也受到了一部分人的質(zhì)疑。

而如今，美國(guó)能源部的兩個(gè)實(shí)驗(yàn)室宣布采用這一芯片，也將為WSE商業(yè)應(yīng)用的可行性作出一次嘗試與證明。

（圖為阿貢國(guó)家實(shí)驗(yàn)室）

“將有史以來(lái)最大、最快的AI芯片納入我們的先進(jìn)計(jì)算基礎(chǔ)設(shè)施，這將大大加速我們?cè)诳茖W(xué)、工程和健康方面的深度學(xué)習(xí)研究?！卑⒇晣?guó)家實(shí)驗(yàn)室的計(jì)算主管Rick Stevens在一份新聞稿中表示。

在他看來(lái)，WSE將幫助他們發(fā)明和測(cè)試更多的算法、更快地探索想法，以及更快地發(fā)現(xiàn)科學(xué)進(jìn)步的機(jī)會(huì)。

在應(yīng)用中，阿貢國(guó)家實(shí)驗(yàn)室和勞倫斯·利弗莫爾國(guó)家實(shí)驗(yàn)室將把WSE集成到現(xiàn)有的超級(jí)計(jì)算機(jī)中，作為這些計(jì)算機(jī)的AI加速器。

同時(shí)，阿貢國(guó)家實(shí)驗(yàn)室計(jì)劃在2021年成功研發(fā)美國(guó)第一臺(tái)百億億次計(jì)算機(jī)——Aurora，其每秒能夠進(jìn)行超過(guò)10億次計(jì)算。

而勞倫斯·利弗莫爾國(guó)家實(shí)驗(yàn)室也有望憑借El Capitan計(jì)算機(jī)達(dá)到百億次的運(yùn)算能力。這臺(tái)造價(jià)6億美元、運(yùn)算能力為1.5 exaflop的計(jì)算機(jī)也將于2022年底投入使用。

值得一提的是，勞倫斯·利弗莫爾國(guó)家實(shí)驗(yàn)室還擁有世界排名第二的Sierra超級(jí)計(jì)算機(jī)，以及世界排名第十的拉森超級(jí)計(jì)算機(jī)。

實(shí)際上，為了更好地利用AI來(lái)解決美國(guó)國(guó)家實(shí)驗(yàn)室所攻克的各種問(wèn)題，美國(guó)能源部在9月初成立了AI技術(shù)辦公室。

同時(shí)，在Cerebras方面，該公司計(jì)劃在未來(lái)幾個(gè)月內(nèi)，將WSE的應(yīng)用合作從阿貢和勞倫斯·利弗莫爾進(jìn)一步擴(kuò)展到美國(guó)能源部的其他實(shí)驗(yàn)室中。

結(jié)語(yǔ)：推動(dòng)WSE商業(yè)落地進(jìn)程

此前，由于Cerebras未曾披露芯片的性能統(tǒng)計(jì)和基準(zhǔn)測(cè)試數(shù)據(jù)，業(yè)內(nèi)在為其振奮的同時(shí)，為未免對(duì)它的商業(yè)價(jià)值和落地應(yīng)用進(jìn)程表露擔(dān)憂。

而如今，美國(guó)國(guó)家能源部的兩大實(shí)驗(yàn)室率先與Cerebras達(dá)成合作關(guān)系，將WSE應(yīng)用到國(guó)家實(shí)驗(yàn)室的超級(jí)計(jì)算機(jī)中，不僅成為了業(yè)界關(guān)注的重點(diǎn)，也是對(duì)WSE是否能真正商業(yè)落地的一次嘗試。

總而言之，一面擁有全球頂尖的先進(jìn)計(jì)算基礎(chǔ)設(shè)施，一面是全球最大、性能領(lǐng)先的計(jì)算機(jī)芯片，二者的結(jié)合，是否將會(huì)為世界展示AI領(lǐng)域的更多突破和可能性？讓我們拭目以待。