防止遺忘和后續(xù)翻找的麻煩，記錄下平時(shí)學(xué)到和用到的GPU知識(shí)，較為瑣碎，不考慮連貫性和嚴(yán)謹(jǐn)性，如有欠妥的地方，歡迎指正。

---

一、概述

上章記錄了單機(jī)多卡的拓?fù)浣Y(jié)構(gòu)，同時(shí)在計(jì)算網(wǎng)絡(luò)小節(jié)中也提到了Spine-Leaf網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，這章會(huì)詳細(xì)介紹這種拓?fù)浣Y(jié)構(gòu)的由來(lái)。

實(shí)際上，spine-leaf網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是一種Clos結(jié)構(gòu)，我們稱之為“脊葉網(wǎng)絡(luò)”，由Charles Clos在1950年提出，初衷是為了解決網(wǎng)絡(luò)電話爆炸式增長(zhǎng)這一難題。

本章是基于數(shù)據(jù)中心來(lái)研究這種拓?fù)浣Y(jié)構(gòu)的，通過(guò)對(duì)數(shù)據(jù)中心學(xué)習(xí)，了解其發(fā)展演化歷史，了解GPU主機(jī)在數(shù)據(jù)中心中的位置，我們才能清晰的理解如何進(jìn)行多節(jié)點(diǎn)集群組網(wǎng)，才能清晰的理解物理拓?fù)?#xff0c;才能清晰的進(jìn)行多卡通信，分布式訓(xùn)練等。

本章只介紹同一數(shù)據(jù)中心下的多機(jī)多卡拓?fù)浣Y(jié)構(gòu)。關(guān)于跨區(qū)域的數(shù)據(jù)中心，不做贅述，有感興趣的可以自行搜索。

二、數(shù)據(jù)中心（DC）

2.1 數(shù)據(jù)中心簡(jiǎn)介

1）機(jī)房

計(jì)算機(jī)機(jī)房、通訊機(jī)房、互聯(lián)網(wǎng)數(shù)據(jù)中心機(jī)房IDC（Internet Data Center）等電子設(shè)備機(jī)房，統(tǒng)稱為“機(jī)房”。

機(jī)房的重要性不言而喻，我們根據(jù)其重要性將機(jī)房分為A、B、C三個(gè)等級(jí)。A級(jí)的可靠性要求最高，如果出現(xiàn)問(wèn)題，將造成重大經(jīng)濟(jì)損失和混亂。其次是B級(jí)，如果出現(xiàn)問(wèn)題，將造成較大經(jīng)濟(jì)損失和混亂。

一個(gè)具有高可靠性的機(jī)房，需要具備良好的冷卻系統(tǒng)、電力系統(tǒng)、消防系統(tǒng)、安全操作規(guī)范，以及防水防塵、抗干擾抗輻射等機(jī)制。

廢話不多說(shuō)，先上一個(gè)數(shù)據(jù)中心機(jī)房圖。

為了保證制冷效果，通常會(huì)將10～20個(gè)機(jī)柜背靠背并排放置在一起，形成一對(duì)機(jī)柜組，稱為一個(gè)POD（Performance Optimized Datacenter）。

一個(gè)POD中的兩排機(jī)柜都采用前后通風(fēng)模式，冷空氣從機(jī)柜前面板吸入并從后面板排出。

POD中的兩排背靠背擺放的機(jī)會(huì)中間形成“熱通道”，相鄰的兩個(gè)POD之間形成“冷通道”。通過(guò)機(jī)房空調(diào)（CRAC）形成一個(gè)循環(huán)，熱空氣沿“熱通道”流回CRAC，冷空氣從前面板吸入POD中。

2）基本單位 POD

注意，該P(yáng)OD與k8s中的pod不是一個(gè)概念。

每一對(duì)機(jī)柜組（POD），都是數(shù)據(jù)中心中規(guī)劃的最小業(yè)務(wù)單位，由交換機(jī)、防火墻、LB、服務(wù)器等資源集成而成。

POD+接入層+匯聚層，會(huì)構(gòu)成一個(gè)下層的二層廣播域，我們稱之為L(zhǎng)2網(wǎng)絡(luò)。匯聚層以上的網(wǎng)絡(luò)稱之為L(zhǎng)3網(wǎng)絡(luò)。匯聚層交換機(jī)是L2和L3層的共同邊界。

關(guān)于網(wǎng)絡(luò)拓?fù)涞难芯?#xff0c;在下面兩節(jié)中會(huì)詳細(xì)進(jìn)行。

2.2 傳統(tǒng)數(shù)據(jù)中心的網(wǎng)絡(luò)模型

在傳統(tǒng)的大型數(shù)據(jù)中心，采用了層次化的三層網(wǎng)絡(luò)模型，將復(fù)雜的網(wǎng)絡(luò)問(wèn)題分解成不同層次的簡(jiǎn)單問(wèn)題域。

在三層網(wǎng)絡(luò)模型中，每一層都負(fù)責(zé)特定的功能，廢話不多說(shuō)，上拓?fù)浣Y(jié)構(gòu)圖。

1）接入層
作用就是將工作站點(diǎn)（POD）接入到網(wǎng)絡(luò)中，提供規(guī)劃網(wǎng)段和帶寬、設(shè)置網(wǎng)關(guān)等網(wǎng)絡(luò)服務(wù)。

從拓?fù)鋱D中，可知有4個(gè)POD，每個(gè)POD由4臺(tái)機(jī)器組成，每2臺(tái)機(jī)器組成一個(gè)機(jī)柜，共2組機(jī)柜。

2）匯聚層
作用就是承上啟下，連接接入層與核心層，組成三層網(wǎng)絡(luò)模型。

匯聚層交換機(jī)與接入層和核心層都是以full-mesh的形式互聯(lián)互通。

匯聚層交換機(jī)支持“東西向流量”，每組的2個(gè)交換機(jī)互聯(lián)互通，與下方網(wǎng)絡(luò)組成二層廣播域，即L2網(wǎng)絡(luò)。

匯聚層除了提供內(nèi)容轉(zhuǎn)發(fā)，還提供防火墻、SSL卸載、入侵檢測(cè)、網(wǎng)絡(luò)分析等服務(wù)。

3）核心層
核心層路由交換機(jī)作為網(wǎng)絡(luò)高速交換主干，是整個(gè)網(wǎng)絡(luò)的支撐脊梁（spine）和數(shù)據(jù)傳輸通道，為網(wǎng)絡(luò)中進(jìn)出數(shù)據(jù)中心的報(bào)文提供高速路由轉(zhuǎn)發(fā)，為多個(gè)匯聚層提供連接性。

核心層通常為整個(gè)網(wǎng)絡(luò)提供一個(gè)彈性的L3網(wǎng)絡(luò)路由。

4）二層廣播域
通常情況下，匯聚交換機(jī)是L2和l3網(wǎng)絡(luò)的邊界，匯聚交換機(jī)以下是L2網(wǎng)絡(luò)，以上是L3網(wǎng)絡(luò)。

每組匯聚交換機(jī)都管理一個(gè)POD，每個(gè)POD都是一個(gè)獨(dú)立的業(yè)務(wù)單元，總有獨(dú)立的VLAN網(wǎng)絡(luò)。服務(wù)器在POD內(nèi)遷移時(shí)，不需要修改IP和網(wǎng)關(guān)等配置，因?yàn)樗麄兌荚谕粋€(gè)二層廣播域內(nèi)。

5）數(shù)據(jù)中心的流量形式
主要分三種：

• 南北向流量：數(shù)據(jù)中心與外部網(wǎng)絡(luò)（互聯(lián)網(wǎng)）的流量。在傳統(tǒng)DC中，這種流量占80%，應(yīng)用通常采用專線部署方式，即將服務(wù)部署在多個(gè)固定的物理機(jī)中，與其他系統(tǒng)物理隔離。
• 東西向流量：DC內(nèi)服務(wù)器之間以及POD之間的流量。
• 跨IDC流量：不同IDC間的流量，如不同數(shù)據(jù)中心的容災(zāi)等

隨著分布式技術(shù)、云原生技術(shù)的廣泛應(yīng)用，如大模型訓(xùn)練可以分布在一個(gè)數(shù)據(jù)中心的上千臺(tái)服務(wù)器中并行計(jì)算，導(dǎo)致東西向流量快速增加。

傳統(tǒng)的三層網(wǎng)絡(luò)是為南北向流量占主導(dǎo)地位的數(shù)據(jù)中心設(shè)計(jì)的，已經(jīng)不滿足現(xiàn)在的大規(guī)模東西向流量需要。

6）傳統(tǒng)IDC三層網(wǎng)絡(luò)模型的優(yōu)缺點(diǎn)
優(yōu)點(diǎn)就是實(shí)現(xiàn)簡(jiǎn)單、配置簡(jiǎn)單、廣播控制力強(qiáng)等，被廣泛應(yīng)用于傳統(tǒng)DCN。

缺點(diǎn)就是無(wú)法滿足日益發(fā)展的網(wǎng)絡(luò)需求，現(xiàn)在的數(shù)據(jù)中心朝著云數(shù)據(jù)中心轉(zhuǎn)型，虛擬化、云原生技術(shù)被廣泛使用，由此衍生出了兩大缺點(diǎn)：

• 無(wú)法支撐虛擬機(jī)跨POD遷移。
• POD間的東西向流量無(wú)法在二層廣播域中無(wú)阻塞轉(zhuǎn)發(fā)，需要通過(guò)核心層轉(zhuǎn)發(fā)。
• 不滿足大規(guī)模東西向流量需求，需要經(jīng)過(guò)不必要匯聚層和核心層轉(zhuǎn)發(fā)，大規(guī)模的東西向流量會(huì)導(dǎo)致連接同一交換機(jī)端口的設(shè)備爭(zhēng)奪帶寬，導(dǎo)致時(shí)延增加。

7）虛擬機(jī)跨POD遷移
虛擬機(jī)是物理服務(wù)器通過(guò)虛擬化技術(shù)構(gòu)建出來(lái)的邏輯服務(wù)器，稱為VM，擁有獨(dú)立的系統(tǒng)和應(yīng)用，也有自己的MAC和IP地址。

在生產(chǎn)環(huán)境中，我們需要根據(jù)容災(zāi)可靠性、可服務(wù)性等要求，進(jìn)行虛擬機(jī)的動(dòng)態(tài)遷移，遷移過(guò)程要求服務(wù)不中斷，將VM從一臺(tái)物理服務(wù)器遷移到另一臺(tái)物理服務(wù)器。

虛擬機(jī)動(dòng)態(tài)遷移過(guò)程中，為了保證服務(wù)的連續(xù)性，不能更改IP，TCP會(huì)話保持不能斷，這就需要遷移的起始位置和目標(biāo)位置都必須在同一個(gè)二層網(wǎng)絡(luò)中，這個(gè)二層網(wǎng)絡(luò)就稱之為“大二層網(wǎng)絡(luò)”。

2.3 脊葉網(wǎng)絡(luò)模型（Spine-Leaf）

Spine-Leaf是Clos結(jié)構(gòu)，一種新的數(shù)據(jù)中心網(wǎng)絡(luò)模型，我們稱之為“葉脊網(wǎng)絡(luò)”。顧名思義，該架構(gòu)擁有一個(gè)脊層spine和一個(gè)葉層leaf，包括脊交換機(jī)和葉交換機(jī)。

相比于傳統(tǒng)網(wǎng)絡(luò)的三層架構(gòu)，葉脊網(wǎng)絡(luò)進(jìn)行了扁平化，變成了兩層架構(gòu)，每個(gè)葉交換機(jī)都連接到所有脊交換機(jī)，脊交換機(jī)間不互聯(lián)，葉交換機(jī)間也不互聯(lián)，他們之間形成full-mesh拓?fù)?。如下圖所示：

leaf層：由接入交換機(jī)組成，用于連接服務(wù)器等設(shè)備。
spine層：是網(wǎng)絡(luò)的骨干，負(fù)責(zé)將所有的 leaf 連接起來(lái)。
fabric中的每個(gè)leaf都會(huì)連接到每個(gè)spine，如果一個(gè)spine掛了，數(shù)據(jù)中心的吞吐性能只會(huì)有輕微的下降。

葉交換機(jī)：相當(dāng)于傳統(tǒng)三層架構(gòu)中的接入交換機(jī)，作為 TOR（Top Of Rack）直接連接物理服務(wù)器。葉交換機(jī)之上是L3網(wǎng)絡(luò)，之下都是個(gè)獨(dú)立的 L2 廣播域。如果說(shuō)兩個(gè)葉交換機(jī)下的服務(wù)器需要通信，需要經(jīng)由脊交換機(jī)進(jìn)行轉(zhuǎn)發(fā)。

脊交換機(jī)：相當(dāng)于核心交換機(jī)。葉和脊交換機(jī)之間通過(guò)ECMP（Equal Cost Multi Path）動(dòng)態(tài)選擇多條路徑。

圖：葉交換機(jī)，思科Nexus 9396PX

在該模型中，任意兩個(gè)服務(wù)器之間都是3跳可達(dá)的：serve<–>leaf<–>spine<–>leaf<–>serve，確保了延遲的可預(yù)測(cè)。

優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：

• 成本低：
  南北向流量，可以從葉節(jié)點(diǎn)出去，也可從脊節(jié)點(diǎn)出去。東西向流量，分布在多條路徑上。這樣一來(lái)，葉脊網(wǎng)絡(luò)可以使用固定配置的交換機(jī)，不需要昂貴的模塊化交換機(jī)，進(jìn)而降低成本。
• 扁平化：
  扁平化設(shè)計(jì)縮短服務(wù)器之間的通信路徑，從而降低延遲，可以顯著提高應(yīng)用程序和服務(wù)性能。
• 低延遲和擁塞避免：
  無(wú)論源和目的地如何，葉脊網(wǎng)絡(luò)中的數(shù)據(jù)流在網(wǎng)絡(luò)上的跳數(shù)都相同，任意兩個(gè)服務(wù)器之間都是Leaf—>Spine—>Leaf三跳可達(dá)的。這建立了一條更直接的流量路徑，從而提高了性能并減少了瓶頸。
• 可拓展性：
  當(dāng)帶寬不足時(shí)，增加脊交換機(jī)數(shù)量，可水平擴(kuò)展帶寬。當(dāng)服務(wù)器數(shù)量增加時(shí)，如果端口密度不足，我們可以添加葉交換機(jī)。
  例如：如果某個(gè)鏈路被打滿了，擴(kuò)容過(guò)程也很直接：添加一個(gè)spine交換機(jī)就可以擴(kuò)展每個(gè) leaf的上行鏈路，增大了leaf和spine之間的帶寬，緩解了鏈路被打爆的問(wèn)題。如果接入層的端口數(shù)量成為了瓶頸，那就直接添加一個(gè)新的leaf，然后將其連接到每個(gè)spine并做相應(yīng)的配置即可。這種易于擴(kuò)展的特性優(yōu)化了IT部門擴(kuò)展網(wǎng)絡(luò)的過(guò)程。leaf層的接入端口和上行鏈路都沒(méi)有瓶頸時(shí)，這個(gè)架構(gòu)就實(shí)現(xiàn)了無(wú)阻塞。
• 安全性和可用性高：傳統(tǒng)的三層網(wǎng)絡(luò)架構(gòu)采用STP協(xié)議，當(dāng)一臺(tái)設(shè)備故障時(shí)就會(huì)重新收斂，影響網(wǎng)絡(luò)性能甚至發(fā)生故障。葉脊架構(gòu)中，一臺(tái)設(shè)備故障時(shí)，不需重新收斂，流量繼續(xù)在其他正常路徑上通過(guò)，網(wǎng)絡(luò)連通性不受影響，帶寬也只減少一條路徑的帶寬，性能影響微乎其微。
  通過(guò)ECMP進(jìn)行負(fù)載均衡，非常適合使用SDN 等集中式網(wǎng)絡(luò)管理平臺(tái)的環(huán)境。SDN允許在發(fā)生阻塞或鏈路故障時(shí)簡(jiǎn)化流量的配置，管理和重新分配路由，使得智能負(fù)載均衡的全網(wǎng)狀拓?fù)涑蔀橐粋€(gè)相對(duì)簡(jiǎn)單的配置和管理方式。

缺點(diǎn)：

• 交換機(jī)的增多使得網(wǎng)絡(luò)規(guī)模變大。葉脊網(wǎng)絡(luò)架構(gòu)的數(shù)據(jù)中心需要按客戶端的數(shù)量，相應(yīng)比例地增加交換機(jī)和網(wǎng)絡(luò)設(shè)備。隨著主機(jī)的增加，需要大量的葉交換機(jī)上行連接到脊交換機(jī)。脊交換機(jī)和葉交換機(jī)直接的互聯(lián)需要匹配，一般情況下，葉脊交換機(jī)之間的合理帶寬比例不能超過(guò)3:1。
  例如，有48個(gè)10Gbps速率的客戶端在葉交換機(jī)上，總端口容量為 480Gb/s。如果將每個(gè)葉交換機(jī)的 4 個(gè) 40G 上行鏈路端口連接到 40G 脊交換機(jī)，它將具有 160Gb/s 的上行鏈路容量。該比例為 480:160，即 3:1。數(shù)據(jù)中心上行鏈路通常為 40G 或 100G，并且可以隨著時(shí)間的推移從 40G (Nx 40G) 的起點(diǎn)遷移到 100G (Nx 100G)。重要的是要注意上行鏈路應(yīng)始終比下行鏈路運(yùn)行得更快，以免端口鏈路阻塞。
  
  葉脊網(wǎng)絡(luò)也有明確的布線的要求。因?yàn)槊總€(gè)葉節(jié)點(diǎn)都必須連接到每個(gè)脊交換機(jī)，我們需要鋪設(shè)更多的銅纜或光纖電纜?；ミB的距離會(huì)推高成本。根據(jù)相互連接的交換機(jī)之間的距離，葉脊架構(gòu)所需要的高端光模塊數(shù)量高于傳統(tǒng)三層架構(gòu)數(shù)十倍，這會(huì)增加整體部署成本。不過(guò)也因此帶動(dòng)了光模塊市場(chǎng)的增長(zhǎng)，尤其是100G、400G這樣的高速率光模塊。

2.4 Facebook的Fabric網(wǎng)絡(luò)架構(gòu)

Facebook從2014年開(kāi)始對(duì)自己原有的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)進(jìn)行改造，以適應(yīng)對(duì)未來(lái)網(wǎng)絡(luò)流量2-4倍的擴(kuò)張。

Facebook的下一代數(shù)據(jù)中心網(wǎng)絡(luò)——data center fabric網(wǎng)絡(luò)架構(gòu)（F4網(wǎng)絡(luò)），是在原始葉脊網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行模塊化組網(wǎng)，以承載數(shù)據(jù)中心內(nèi)部的大規(guī)模東西向流量的轉(zhuǎn)發(fā)，具有足夠的擴(kuò)展性。

F4架構(gòu)：
在這種架構(gòu)中，我們的Spine-Leaf 網(wǎng)絡(luò)是其中的一個(gè)POD, 我們的SPINE是圖中的Fabric Switches，我們的leaf是圖中的Rack Switches，最上面的Spine Switches把各個(gè)POD連通起來(lái)。當(dāng)一個(gè)POD的容量已滿時(shí)，可以增加POD，并用spine將這些POD連通起來(lái)，實(shí)現(xiàn)了網(wǎng)絡(luò)的繼續(xù)擴(kuò)展。除了前面描述的POD和spine，上圖中還有黃色的Edge Plane，這是為數(shù)據(jù)中心提供南北向流量的模塊。它們與spine交換機(jī)的連接方式，與前文中簡(jiǎn)單的的Spine-Leaf 架構(gòu)一樣。并且它們也是可以水平擴(kuò)展的。
Spine-Leaf 網(wǎng)絡(luò)架構(gòu)只是一種網(wǎng)絡(luò)部署的拓?fù)浞绞?#xff0c;具體的實(shí)現(xiàn)方法與配置多種多樣，有的廠商根據(jù)這種拓?fù)浣Y(jié)構(gòu)定義了特定的網(wǎng)絡(luò)協(xié)議，如思科的Fabric Path等。

目前Fabric網(wǎng)絡(luò)已經(jīng)演進(jìn)到F16架構(gòu)，將Spine平面增加為16個(gè)。單芯片處理能力提升為12.8TBps, 使得Spine交換機(jī)由原來(lái)的BackPack更新為MiniPark架構(gòu)，不僅體積更小，所要通過(guò)的路徑僅需跨越5個(gè)芯片。

三、基于數(shù)據(jù)中心的多機(jī)多卡拓?fù)?/h2>

3.1 Spine-Leaf 架構(gòu)網(wǎng)絡(luò)規(guī)模測(cè)算方法

脊交換機(jī)下行端口數(shù)量，決定了葉交換機(jī)的數(shù)量。而葉交換機(jī)上行端口數(shù)量，決定了脊交換機(jī)的數(shù)量。它們共同決定了葉脊網(wǎng)絡(luò)的規(guī)模。接下來(lái)我們可以根據(jù)交換機(jī)的端口數(shù)量和帶寬，對(duì)Spine-Leaf 架構(gòu)的網(wǎng)絡(luò)適用的規(guī)模進(jìn)行簡(jiǎn)單的估計(jì)，如下圖所示的拓?fù)?#xff1a;

估算基于以下假設(shè)：

• spine數(shù)量：16臺(tái)
• 每個(gè)spine的下聯(lián)端口：48個(gè) × 100G
• spine上聯(lián)端口：16個(gè) × 100G
• leaf數(shù)量：48臺(tái)
• 每個(gè)leaf的下聯(lián)端口：64個(gè) × 25G
• leaf的上聯(lián)端口： 16個(gè) × 25G

spine的下聯(lián)端口數(shù)量和LEAF的上聯(lián)端口數(shù)量相同，以充分利用端口，在考慮鏈路Spine-Leaf 之間的帶寬全部跑滿的情況下，每個(gè)leaf下聯(lián)的服務(wù)器數(shù)量最多為：16*100/25=64。
剛好等于leaf的下聯(lián)端口數(shù)量，總共可支持的服務(wù)器數(shù)量為：64 * 48 = 3072。

在上述假設(shè)下，一組Spine-Leaf 網(wǎng)絡(luò)可以支持3072臺(tái)服務(wù)器，需要注意的是，葉脊交換機(jī)北向總帶寬一般不會(huì)和南向總帶寬一致，通常大于1:3即可，該例中為400:640。

這相當(dāng)于一個(gè)中大型規(guī)模的數(shù)據(jù)中心，如果仍有擴(kuò)展的需求該怎么辦？根據(jù)上述的計(jì)算，leaf和spine的下聯(lián)端口都已經(jīng)耗盡，在這個(gè)網(wǎng)絡(luò)中已無(wú)法增加spine,leaf或服務(wù)器。谷歌在此基礎(chǔ)上進(jìn)行了拓展，開(kāi)發(fā)出了五級(jí)CLOS架構(gòu)，即F4。

3.2 NVIDIA多機(jī)多卡組網(wǎng)

1）GPU上接Spine-Leaf網(wǎng)絡(luò)

性能優(yōu)化參見(jiàn)：NVIDIA Blog Leaf-Spine DC

2）Node間通信方式

詳情參見(jiàn)：NVIDIA Blog: Network IO

3）基于spine-leaf的跨軌通信
在傳統(tǒng)的多機(jī)間GPU通信時(shí)，常常將多個(gè)節(jié)點(diǎn)的GPU網(wǎng)卡連接到對(duì)應(yīng)的Leaf上，通信路徑經(jīng)過(guò)spine switch，這種通信方式我們稱之為“跨軌通信”。

GPU多機(jī)多卡組網(wǎng)拓?fù)?/strong>

每個(gè) DGX 系統(tǒng)的 NIC-0 連接到同一葉交換機(jī) （L0），NIC-1 連接到同一葉交換機(jī) （L1），依此類推。這種設(shè)計(jì)通常稱為 Rail-optimized。

4）PXN單軌通信

PXN 利用節(jié)點(diǎn)內(nèi) GPU 之間的 NVIDIA NVSwitch 連接，首先在與目標(biāo)相同的軌道上的 GPU 上移動(dòng)數(shù)據(jù)，然后在不越軌的情況下將其發(fā)送到目標(biāo)。這實(shí)現(xiàn)了消息聚合和網(wǎng)絡(luò)流量?jī)?yōu)化。

參見(jiàn)：NVIDIA Blog: Collective Communication
5）英偉達(dá)數(shù)據(jù)中心設(shè)計(jì)與優(yōu)化

英偉達(dá)數(shù)據(jù)中心設(shè)計(jì)
英偉達(dá)數(shù)據(jù)中心拓?fù)?/p>

下節(jié)詳細(xì)介紹nccl和hccl通信。