算力是數(shù)字經(jīng)濟(jì)時(shí)代的核心生產(chǎn)力，是推動(dòng)經(jīng)濟(jì)發(fā)展的新引擎。隨著元宇宙、ChatGPT等業(yè)務(wù)的興起，語(yǔ)言處理、機(jī)器視覺(jué)、自動(dòng)駕駛等多個(gè)領(lǐng)域借助強(qiáng)大的數(shù)據(jù)計(jì)算能力，取得了長(zhǎng)足的發(fā)展。相較于傳統(tǒng)云計(jì)算、超算中心，智算中心更能滿足日益豐富的人工智能算力需求，未來(lái)80%的場(chǎng)景所使用的算力資源都將由智算中心承載^［1］。而參數(shù)量巨大的AI模型，對(duì)智能算力的需求飛速提升，根據(jù)IDC評(píng)估報(bào)告，預(yù)計(jì)2021年—2026年，中國(guó)智能算力規(guī)模年復(fù)合增長(zhǎng)率達(dá)52.3%^［2］。例如，目前L2級(jí)別的自動(dòng)駕駛通常需要數(shù)百TOPS的算力，但要想真正實(shí)現(xiàn)L4/L5級(jí)別的自動(dòng)駕駛，至少需要20 000+TOPS的算力。

受制于芯片材料、工藝、成本等因素，算力的增長(zhǎng)速度逐漸放緩^［3］，與算力需求存在極大差異，這也推動(dòng)了芯片新技術(shù)以及異構(gòu)算力的發(fā)展。以GPU、類(lèi)腦芯片為代表的異構(gòu)算力的崛起表明未來(lái)計(jì)算數(shù)據(jù)將在最合適的地方，以最合適的算力來(lái)處理。同時(shí)，當(dāng)單臺(tái)服務(wù)器的算力無(wú)法滿足業(yè)務(wù)需求時(shí)，可使用分布式訓(xùn)練的智算集群，通過(guò)多臺(tái)服務(wù)器以及算法優(yōu)化的并行方式構(gòu)建出一個(gè)計(jì)算能力和顯存能力超大的集群，來(lái)應(yīng)對(duì)大模型訓(xùn)練中算力和內(nèi)存的瓶頸。大模型訓(xùn)練一般采用并行模式，連接集群的網(wǎng)絡(luò)決定了智算節(jié)點(diǎn)設(shè)備間的通信效率，進(jìn)而影響整個(gè)智算集群的算力性能和數(shù)據(jù)吞吐量，這對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)提出了新挑戰(zhàn)，具體如下。

a）零丟包。智算集群對(duì)丟包十分敏感，如果網(wǎng)絡(luò)故障不能被快速定位并傳遞到終端進(jìn)行源端行為控制，輕則需要回退到上一個(gè)分布式訓(xùn)練的斷點(diǎn)進(jìn)行重訓(xùn)，重則可能要將整個(gè)任務(wù)從零開(kāi)始重訓(xùn)。0.1%的丟包會(huì)使算力性能下降50%，1次訓(xùn)練中斷會(huì)增加4 h的訓(xùn)練時(shí)長(zhǎng)。因此，網(wǎng)絡(luò)穩(wěn)定性對(duì)分布式訓(xùn)練任務(wù)非常重要，也是當(dāng)前數(shù)據(jù)中心網(wǎng)絡(luò)的最大短板。

b）低時(shí)延。傳統(tǒng)TCP/IP網(wǎng)絡(luò)中，發(fā)送端給接收端發(fā)消息實(shí)際上是把發(fā)送端內(nèi)存中的一段數(shù)據(jù)，通過(guò)數(shù)據(jù)中心網(wǎng)絡(luò)傳送到接收端的內(nèi)存中。無(wú)論是發(fā)送端還是接收端，在報(bào)文傳輸過(guò)程中都需要調(diào)用CPU，復(fù)雜的報(bào)文處理流程使CPU顯得力不從心，同時(shí)造成節(jié)點(diǎn)間通信時(shí)間變長(zhǎng)。

c）大帶寬。在并行計(jì)算模型中，單個(gè)計(jì)算節(jié)點(diǎn)完成計(jì)算任務(wù)后，需要快速地將計(jì)算結(jié)果同步給其他節(jié)點(diǎn)，以便進(jìn)行下一輪計(jì)算；而在完成計(jì)算結(jié)果數(shù)據(jù)同步前，計(jì)算節(jié)點(diǎn)會(huì)一直處于等待狀態(tài)。在大模型并行計(jì)算中，計(jì)算節(jié)點(diǎn)之間同步的數(shù)據(jù)量非常大，并且大部分是瞬時(shí)脈沖流量，如果網(wǎng)絡(luò)帶寬不足，數(shù)據(jù)傳輸就會(huì)變慢，進(jìn)而影響訓(xùn)練效率。

遠(yuǎn)程直接內(nèi)存訪問(wèn)（Remote Direct Memory Access，RDMA）可以使服務(wù)器直接高速讀寫(xiě)其他服務(wù)器的內(nèi)存數(shù)據(jù)，不需要經(jīng)過(guò)操作系統(tǒng)/CPU/GPU的處理，成為解決智算中心組網(wǎng)問(wèn)題的優(yōu)選方案。RDMA主要流程是本端服務(wù)器RDMA網(wǎng)卡從內(nèi)存中拷貝用戶空間數(shù)據(jù)到內(nèi)部存儲(chǔ)空間，通過(guò)網(wǎng)卡自身進(jìn)行報(bào)文封裝后，使用物理鏈路發(fā)送到對(duì)端服務(wù)器，對(duì)端服務(wù)器RDMA網(wǎng)卡接收到報(bào)文后進(jìn)行解封裝，再將數(shù)據(jù)拷貝到內(nèi)存的用戶空間中，RDMA網(wǎng)絡(luò)下服務(wù)器轉(zhuǎn)發(fā)報(bào)文的路徑如圖1所示。

RDMA的主要優(yōu)勢(shì)包括2點(diǎn)。

a）零拷貝，即不需要在內(nèi)核空間和用戶空間之間重復(fù)拷貝數(shù)據(jù)。

b）CPU/GPU卸載。由RDMA網(wǎng)卡實(shí)現(xiàn)報(bào)文封裝和解析，CPU/GPU芯片無(wú)需參與內(nèi)存讀寫(xiě)、報(bào)文處理等工作，減少對(duì)芯片的開(kāi)銷(xiāo)。

隨著AI大模型并行計(jì)算對(duì)高可靠、低時(shí)延、大帶寬網(wǎng)絡(luò)需求的增長(zhǎng)，RDMA逐步在高性能數(shù)據(jù)中心中被推廣應(yīng)用。根據(jù)Uber發(fā)布的測(cè)試數(shù)據(jù)，在128塊GPU和25GE網(wǎng)卡的配置環(huán)境下，進(jìn)行VGG-16模型（網(wǎng)絡(luò)深度為16的卷積神經(jīng)網(wǎng)絡(luò)）訓(xùn)練時(shí)，使用RDMA的處理性能比使用TCP高出30%，因此RDMA成為智算中心網(wǎng)絡(luò)的最佳選擇之一。RDMA的主要實(shí)現(xiàn)方案如下。

a）InfiniBand（以下簡(jiǎn)稱(chēng)IB）協(xié)議。IB是一個(gè)完整的網(wǎng)絡(luò)協(xié)議，它單獨(dú)定義了1～4層的報(bào)文格式?；赾redit信令機(jī)制，發(fā)送端在確認(rèn)接收端有足夠額度可以接收對(duì)應(yīng)數(shù)量的報(bào)文后，才會(huì)進(jìn)行報(bào)文發(fā)送，從根本上避免了報(bào)文在傳輸過(guò)程中從緩沖區(qū)溢出導(dǎo)致丟包的情況，實(shí)現(xiàn)了無(wú)損網(wǎng)絡(luò)。IB在物理層定義了多種鏈路速度，例如1X、4X、12X，每種類(lèi)型的鏈路使用四線串行差分連接，網(wǎng)絡(luò)帶寬升級(jí)到了NDR（單速率為100 Gbit/s）、XDR（單速率為 200 Gbit/s）和GDR（單速率為400 Gbit/s）。此外，IB協(xié)議需使用專(zhuān)用的IB交換機(jī)、網(wǎng)卡和線纜。

b）RoCEv1。RDMA over Converged Ethernet是一種在以太網(wǎng)上進(jìn)行RDMA的網(wǎng)絡(luò)通信協(xié)議，而RoCEv1協(xié)議保留了IB協(xié)議的應(yīng)用程序接口、傳輸層和網(wǎng)絡(luò)層，將鏈路層和物理層替換為以太網(wǎng)協(xié)議。由于缺少I(mǎi)P路由功能，RoCEv1數(shù)據(jù)包只能在二層網(wǎng)絡(luò)中傳輸。

c）RoCEv2。RoCEv2將IB的網(wǎng)絡(luò)層、鏈路層和物理層替換為以太網(wǎng)協(xié)議，將RDMA應(yīng)用數(shù)據(jù)封裝到UDP報(bào)文中，再加上IP、以太網(wǎng)報(bào)文頭，使報(bào)文可以在以太網(wǎng)中進(jìn)行傳輸，并通過(guò)基于優(yōu)先級(jí)的流量控制（Priority-based Flow Control，PFC）、顯示擁塞通知（Explicit Congestion Notification，ECN）等流控機(jī)制，保證發(fā)送端和接收端速率匹配。RoCEv2通過(guò)普通的以太網(wǎng)交換機(jī)搭配支持RoCEv2的網(wǎng)卡實(shí)現(xiàn)，但對(duì)設(shè)備性能消耗較大。

d）iWARP。與RoCE協(xié)議繼承IB不同，iWARP自成一派，遵循IETF協(xié)議標(biāo)準(zhǔn)，上層包括RDMAP（為上層用戶提供RDMA語(yǔ)義，支撐各類(lèi)請(qǐng)求）、DDP（負(fù)責(zé)在傳輸層協(xié)議之上實(shí)現(xiàn)零拷貝）、MPA（完成與TCP適配工作，按照一定算法在TCP流中加入控制信息）。iWARP底層基于TCP/IP協(xié)議，但需要支持iWARP功能的特殊網(wǎng)卡設(shè)備。

目前業(yè)界比較常用的RDMA實(shí)現(xiàn)方案是IB和RoCEv2，而RoCEv1和iWARP存在一些技術(shù)缺陷，實(shí)際應(yīng)用并不廣泛。本文將重點(diǎn)介紹IB和RoCEv2方案。

對(duì)于AI大模型的智算中心場(chǎng)景，需要特別關(guān)注數(shù)據(jù)中心網(wǎng)絡(luò)的傳輸時(shí)延和可擴(kuò)展性，傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)主要考慮其通用性，往往會(huì)犧牲部分性能。針對(duì)該問(wèn)題，目前主流的網(wǎng)絡(luò)架構(gòu)有3種（見(jiàn)圖2）。

a）Fat-Tree。傳統(tǒng)樹(shù)形網(wǎng)絡(luò)拓?fù)鋸娜~子節(jié)點(diǎn)到根節(jié)點(diǎn)的帶寬逐層收斂，整體成倒漏斗狀，根節(jié)點(diǎn)網(wǎng)絡(luò)帶寬遠(yuǎn)小于各葉子帶寬之和，容易成為轉(zhuǎn)發(fā)性能的瓶頸，無(wú)法滿足大規(guī)模計(jì)算的MapReduce和數(shù)據(jù)拷貝。而Fat-Tree拓?fù)涞木W(wǎng)絡(luò)帶寬是不收斂的，即每個(gè)節(jié)點(diǎn)的上行帶寬和下行帶寬相等，支持對(duì)接入帶寬的線速轉(zhuǎn)發(fā)，并且在橫向擴(kuò)展時(shí)支持增加鏈路帶寬。Fat-Tree拓?fù)渲兴褂玫木W(wǎng)絡(luò)設(shè)備均為端口能力相同的交換機(jī)，可有效降低網(wǎng)絡(luò)建設(shè)成本。

b）Torus。Torus是一種環(huán)面拓?fù)洌鼘⒐?jié)點(diǎn)按照網(wǎng)格的方式排列，然后連接同行和同列的相鄰節(jié)點(diǎn)，并連接同行和同列的最遠(yuǎn)端的2個(gè)節(jié)點(diǎn)，使得Torus拓?fù)渲忻啃泻兔苛卸际且粋€(gè)環(huán)。Torus拓?fù)渫ㄟ^(guò)從二維擴(kuò)展到三維、甚至更高維的方式增加新的接入節(jié)點(diǎn)，同時(shí)可以提高網(wǎng)絡(luò)帶寬，降低延遲。

c）Dragonfly。Dragonfly是一種分層的拓?fù)浣Y(jié)構(gòu)，包括Switch、Group和System 3層，其中Switch層包括一臺(tái)交換機(jī)和與其相連的多個(gè)計(jì)算節(jié)點(diǎn)；Group層包含多個(gè)Switch，多個(gè)Switch間進(jìn)行全連接；System層包含多個(gè)Group，多個(gè)Group間也進(jìn)行全連接（拓?fù)渲忻總€(gè)圓圈代表一個(gè)Group節(jié)點(diǎn)）。Dragonfly拓?fù)涞闹饕獌?yōu)勢(shì)是網(wǎng)絡(luò)轉(zhuǎn)發(fā)路徑小，組網(wǎng)成本較低。

由于RDMA的協(xié)議機(jī)制和通信方式與傳統(tǒng)TCP/IP協(xié)議差異較大，智算中心高性能網(wǎng)絡(luò)的運(yùn)維管理方式也和IP網(wǎng)絡(luò)存在很大差異，具體如下。

a）高精度的流量采集能力。AI大模型的流量呈現(xiàn)較強(qiáng)的突發(fā)性，常規(guī)的SNMP協(xié)議以30 s的采樣周期收集流量數(shù)據(jù)，現(xiàn)已無(wú)法呈現(xiàn)網(wǎng)絡(luò)的關(guān)鍵帶寬指標(biāo)。

b）細(xì)顆粒的流量統(tǒng)計(jì)能力。RDMA網(wǎng)絡(luò)通過(guò)端口隊(duì)列發(fā)送報(bào)文，因此需要將流量統(tǒng)計(jì)的維度從端口級(jí)別細(xì)化到隊(duì)列級(jí)別。

c）自動(dòng)化部署與檢測(cè)能力。RDMA協(xié)議及其出色的擁塞控制機(jī)制使得網(wǎng)絡(luò)配置復(fù)雜多樣化，而智算中心的超大規(guī)模進(jìn)一步增加了配置復(fù)雜度，需要自動(dòng)化配置工具和可快速定位故障的檢測(cè)工具來(lái)提升智算中心的運(yùn)行效率。

d）流控指標(biāo)采集和統(tǒng)計(jì)能力。若采用RoCEv2實(shí)現(xiàn)RDMA，需要使用PFC和ECN機(jī)制進(jìn)行流量控制，運(yùn)維管理系統(tǒng)相應(yīng)地需要對(duì)PFC、ECN等關(guān)鍵指標(biāo)進(jìn)行采集和統(tǒng)計(jì)。

基于流控機(jī)制、網(wǎng)絡(luò)時(shí)延、傳輸帶寬等多個(gè)方面對(duì)IB方案和RoCEv2方案進(jìn)行比較（見(jiàn)表1）。在性能、擴(kuò)展性以及網(wǎng)絡(luò)配置方面，IB網(wǎng)絡(luò)占優(yōu)，但成本較高，適合在高性能需求的場(chǎng)景中使用；而在成本、開(kāi)放性、供應(yīng)鏈方面，RoCEv2網(wǎng)絡(luò)占優(yōu)，建議在國(guó)產(chǎn)化算力資源池以及存儲(chǔ)網(wǎng)絡(luò)中使用，同時(shí)需增強(qiáng)RoCEv2網(wǎng)絡(luò)的網(wǎng)絡(luò)部署、調(diào)優(yōu)及維護(hù)能力。

表1 InfiniBand和RoCEv2對(duì)比

 在組網(wǎng)架構(gòu)方面，當(dāng)網(wǎng)絡(luò)規(guī)模較?。〝?shù)千節(jié)點(diǎn)及以下）時(shí)，建議采用Fat-Tree。Fat-Tree拓?fù)渚哂芯W(wǎng)絡(luò)直徑短，端到端通信跳數(shù)少，建網(wǎng)成本低的優(yōu)點(diǎn)，適用于中小規(guī)模智算中心。當(dāng)網(wǎng)絡(luò)達(dá)到一定規(guī)模后，例如上萬(wàn)節(jié)點(diǎn)時(shí)，建議采用Dragonfly和Torus。Dragonfly和Torus拓?fù)涞慕ňW(wǎng)成本更低，交換機(jī)端到端轉(zhuǎn)發(fā)跳數(shù)也會(huì)明顯減少，可提升網(wǎng)絡(luò)整體吞吐和性能，適用于大規(guī)模、超大規(guī)模智算中心。

目前，OpenAI、微軟、Meta、特斯拉等國(guó)外廠商選擇使用IB方案組建智算中心，騰訊、阿里、字節(jié)跳動(dòng)等國(guó)內(nèi)廠商使用RoCEv2方案，配合自研交換機(jī)、DPU加速卡、協(xié)議優(yōu)化和智能運(yùn)維工具等手段來(lái)滿足智算中心對(duì)高性能網(wǎng)絡(luò)的需求，而百度、快手等廠商則選擇在不同網(wǎng)絡(luò)平面分別使用IB和RoCEv2方案。

基于以上分析，可根據(jù)方案將智算中心劃成不同專(zhuān)區(qū)，各專(zhuān)區(qū)分別有5個(gè)網(wǎng)絡(luò)平面。對(duì)于計(jì)算網(wǎng)，IB算力專(zhuān)區(qū)可采用IB NDR（400G）組網(wǎng)，RoCEv2算力專(zhuān)區(qū)采用RoCEv2（200G）組網(wǎng)；存儲(chǔ)網(wǎng)可考慮共用，同時(shí)，考慮到訓(xùn)練場(chǎng)景對(duì)存儲(chǔ)的即時(shí)訪問(wèn)帶寬并沒(méi)有計(jì)算網(wǎng)高，2個(gè)專(zhuān)區(qū)的存儲(chǔ)資源池可以共用；管理/業(yè)務(wù)網(wǎng)仍然采用傳統(tǒng)以太網(wǎng)絡(luò)；帶外管理網(wǎng)使用千兆網(wǎng)絡(luò)連接所有硬件設(shè)備。智網(wǎng)中心組網(wǎng)建議如圖3所示。

在組網(wǎng)架構(gòu)方面，單臺(tái)服務(wù)器最多支持配置8張GPU卡，對(duì)于IB網(wǎng)絡(luò)，基于目前IB交換機(jī)能力，2層Fat-Tree架構(gòu)最多支持2 048卡，如規(guī)劃超出2 048卡的規(guī)模，建議使用3層架構(gòu)或選用擴(kuò)展性更強(qiáng)的Dragonfly、Torus拓?fù)洹６鳵oCEv2基本采用Fat-Tree架構(gòu)，可根據(jù)組網(wǎng)規(guī)模選擇合適的交換機(jī)設(shè)備。

以往數(shù)據(jù)中心大多是計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源分別由不同負(fù)責(zé)人進(jìn)行維護(hù)管理，而在智算中心場(chǎng)景，算力的調(diào)度、性能優(yōu)化與數(shù)據(jù)中心網(wǎng)絡(luò)息息相關(guān)，其建設(shè)運(yùn)維過(guò)程需同步研究端到端的編排管理能力，實(shí)現(xiàn)算力與網(wǎng)絡(luò)的協(xié)同優(yōu)化管理。

本文對(duì)智算中心組網(wǎng)需求與技術(shù)演進(jìn)進(jìn)行了相關(guān)研究分析，以期拋磚引玉，得到同行專(zhuān)家的參與和討論，共同推動(dòng)網(wǎng)絡(luò)關(guān)鍵技術(shù)的成熟與落地，打造大規(guī)模、低時(shí)延、高性能、大帶寬以及智能化的智算中心網(wǎng)絡(luò)。

張世華，工程師，碩士，主要從事核心網(wǎng)、通信云咨詢(xún)、規(guī)劃和設(shè)計(jì)工作；

文湘江，高級(jí)工程師，碩士，主要從事通信云架構(gòu)設(shè)計(jì)、技術(shù)選型等工作；

申佳，助理工程師，學(xué)士，主要從事核心網(wǎng)、通信云咨詢(xún)、規(guī)劃和設(shè)計(jì)工作；

張奎，高級(jí)工程師，碩士，主要從事核心網(wǎng)、通信云咨詢(xún)、規(guī)劃和設(shè)計(jì)工作；

譚蓓，高級(jí)工程師，學(xué)士，主要從事核心網(wǎng)、通信云咨詢(xún)、規(guī)劃和設(shè)計(jì)工作；

劉俊通，畢業(yè)于電子科技大學(xué)，主要從事通信網(wǎng)絡(luò)的規(guī)劃與建設(shè)工作。