各位小伙伴們大家好哈，我是老貓。

今天跟大家來(lái)聊聊數(shù)據(jù)中心網(wǎng)絡(luò)。

提到網(wǎng)絡(luò)，通常把網(wǎng)絡(luò)比作高速公路，網(wǎng)卡相當(dāng)于上下高速公路的閘口，數(shù)據(jù)包就相當(dāng)于運(yùn)送數(shù)據(jù)的汽車(chē)，交通法規(guī)就是“傳輸協(xié)議”。

如高速公路也會(huì)堵車(chē)一樣，網(wǎng)絡(luò)這條數(shù)據(jù)的高速公路也會(huì)遇到擁堵問(wèn)題，尤其是在人工智能快速發(fā)展的今天，這對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)提出了更高的要求。

今天我們就來(lái)聊聊，到底什么樣的網(wǎng)絡(luò)才能滿足AI時(shí)代的需求？

▉?為什么現(xiàn)在的網(wǎng)絡(luò)不行了？

網(wǎng)絡(luò)發(fā)展了這么多年，為什么最近頻頻被拿出來(lái)說(shuō)，為什么傳統(tǒng)的網(wǎng)絡(luò)成為了現(xiàn)代數(shù)據(jù)中心的瓶頸？

毫無(wú)疑問(wèn)，這與AI、機(jī)器學(xué)習(xí)等密集型計(jì)算場(chǎng)景脫不了關(guān)系。這些場(chǎng)景對(duì)算力需求越來(lái)越大，據(jù)IDC統(tǒng)計(jì)，全球算力的需求每3.5個(gè)月就會(huì)翻一倍，遠(yuǎn)遠(yuǎn)超過(guò)了當(dāng)前算力的增長(zhǎng)速度。要滿足越來(lái)越高的算力需求，在算力增加的同時(shí)，也需要充分提高算力的利用效率和通信性能，那么作為數(shù)據(jù)中心三大核心組件之一的數(shù)據(jù)中心網(wǎng)絡(luò)就將面臨挑戰(zhàn)。

這是因?yàn)?#xff0c;在傳統(tǒng)的在馮·諾依曼架構(gòu)體系中，網(wǎng)絡(luò)一般只是起到數(shù)據(jù)傳輸?shù)淖饔?#xff0c;計(jì)算都是以CPU或GPU為中心，而當(dāng)ChatGPT和BERT等大型復(fù)雜模型將其工作負(fù)載分配到數(shù)量眾多的GPU進(jìn)行并行計(jì)算時(shí)，將產(chǎn)生大量的突發(fā)梯度數(shù)據(jù)傳輸，從而容易導(dǎo)致網(wǎng)絡(luò)擁塞。

這是傳統(tǒng)馮·諾依曼架構(gòu)的一個(gè)天然弊端，在算力提升的AI時(shí)代，無(wú)論是提升帶寬還是降低延遲都無(wú)法解決網(wǎng)絡(luò)這一問(wèn)題。

那么如何繼續(xù)提升數(shù)據(jù)中心網(wǎng)絡(luò)的性能呢？

▉?有沒(méi)有提升網(wǎng)絡(luò)性能的新方式？

要想提升網(wǎng)絡(luò)性能，傳統(tǒng)的方式一般有兩種，提升帶寬和降低延遲。這兩種方式很好理解，就像在高速路上運(yùn)送貨物一樣，要么提升道路的寬度，要么提升道路的限速，從而解決網(wǎng)絡(luò)擁堵的問(wèn)題。

我們?nèi)粘Ｉ钪杏龅骄W(wǎng)絡(luò)過(guò)慢也會(huì)采用這兩種方式，要么加錢(qián)升級(jí)更高的寬帶，要么購(gòu)買(mǎi)性能更好的網(wǎng)絡(luò)設(shè)備。

但這兩種方式對(duì)網(wǎng)絡(luò)的提升是有限度的，當(dāng)帶寬升級(jí)到一定寬度，當(dāng)設(shè)備達(dá)到一定的級(jí)別，網(wǎng)絡(luò)實(shí)際性能就很難再往上提升了，這也是當(dāng)前AI時(shí)代網(wǎng)絡(luò)出現(xiàn)瓶頸的主要原因。

那目前有沒(méi)有提升網(wǎng)絡(luò)更好的解決方案呢？

答案當(dāng)然是肯定的。為了加速模型訓(xùn)練和處理大量數(shù)據(jù)集，作為全球AI算力霸主，英偉達(dá)也早就發(fā)現(xiàn)了傳統(tǒng)網(wǎng)絡(luò)的瓶頸。為此，英偉達(dá)選擇了新的道路：讓計(jì)算圍繞數(shù)據(jù)來(lái)部署。簡(jiǎn)單來(lái)說(shuō)就是數(shù)據(jù)在哪兒，計(jì)算就在哪兒：當(dāng)數(shù)據(jù)在GPU上，計(jì)算就在GPU上；當(dāng)數(shù)據(jù)在網(wǎng)絡(luò)中傳輸時(shí)，計(jì)算就在網(wǎng)絡(luò)中。

簡(jiǎn)而言之，就是讓網(wǎng)絡(luò)不僅保障數(shù)據(jù)傳輸?shù)男阅?#xff0c;還要承擔(dān)一些數(shù)據(jù)處理的計(jì)算。

通過(guò)這種新的架構(gòu)方式可以讓CPU或GPU專(zhuān)心做自己擅長(zhǎng)的計(jì)算任務(wù)，將一些基礎(chǔ)設(shè)施操作工作負(fù)載分配到網(wǎng)絡(luò)連接的節(jié)點(diǎn)上，從而解決網(wǎng)絡(luò)傳輸中多打一的瓶頸問(wèn)題或丟包問(wèn)題。據(jù)了解，通過(guò)這種方式可以使網(wǎng)絡(luò)延時(shí)降低10倍以上。

所以，也讓基礎(chǔ)設(shè)施計(jì)算成為我們現(xiàn)在以數(shù)據(jù)為中心這種核心計(jì)算架構(gòu)的關(guān)鍵技術(shù)之一。

▉?為什么DPU能帶來(lái)網(wǎng)絡(luò)的提升？

提到基礎(chǔ)設(shè)施計(jì)算，就不得不提DPU這個(gè)概念，DPU的全稱(chēng)為Data Processing Unit，是數(shù)據(jù)中心第三顆主力芯片，它的出現(xiàn)主要是為了分擔(dān)CPU在數(shù)據(jù)中心中除了通用計(jì)算以外的基礎(chǔ)設(shè)施工作負(fù)載的。

NVIDIA是DPU領(lǐng)域的全球先行者。2020 年上半年，NVIDIA以69 億美元的對(duì)價(jià)收購(gòu)以色列網(wǎng)絡(luò)芯片公司Mellanox Technologies，并于同年推出BlueField-2 DPU，將其定義為繼CPU和GPU之后“第三顆主力芯片”，正式拉開(kāi)DPU大發(fā)展的序幕。

那么有人就要問(wèn)了，這個(gè)DPU到底在網(wǎng)絡(luò)中能起到什么作用呢？

我舉個(gè)例子來(lái)說(shuō)明一下。

就像經(jīng)營(yíng)餐館一樣，以前人手比較少，老板一個(gè)人承擔(dān)采買(mǎi)、洗切、配菜、烹調(diào)、傳菜和收銀等全部工作，就像CPU一樣，不僅要進(jìn)行數(shù)學(xué)和邏輯運(yùn)算，還要管理外部設(shè)備，在不同的時(shí)間執(zhí)行不同的任務(wù)，并進(jìn)行任務(wù)的切換，從而滿足業(yè)務(wù)應(yīng)用程序執(zhí)行的需要。

但是隨著要服務(wù)的就餐客戶數(shù)量的增多，就需要將不同的任務(wù)由不同的人員分擔(dān)，有多個(gè)店員負(fù)責(zé)采買(mǎi)、洗切、配菜，保障廚師的烹調(diào)備料；有多位廚師并行進(jìn)行烹調(diào)，提升菜品制作效率；有多位服務(wù)員提供服務(wù)和傳菜，保證多桌客戶的服務(wù)質(zhì)量；而老板就只負(fù)責(zé)收銀和管理。

如此一來(lái)，店員和服務(wù)員團(tuán)隊(duì)像是DPU，對(duì)數(shù)據(jù)進(jìn)行處理和移動(dòng)；廚師團(tuán)隊(duì)像是GPU，對(duì)數(shù)據(jù)進(jìn)行并行計(jì)算，而老板像是CPU，獲取業(yè)務(wù)應(yīng)用需求并交付結(jié)果。

CPU、GPU和DPU各司其職，通力配合，將擅長(zhǎng)處理的工作負(fù)載發(fā)揮到極致，大幅提升數(shù)據(jù)中心性能和能效，并獲得更好的投資回報(bào)。

▉?NVIDIA推出了哪些DPU產(chǎn)品？

在2020年推出BlueField-2 DPU后。為了解決AI工作負(fù)載的獨(dú)特需求，NVIDIA馬不停蹄，在2021年4月份對(duì)外發(fā)布了新一代數(shù)據(jù)處理器-NVIDIA BlueField-3 DPU。

BlueField-3是首款為AI和加速計(jì)算而設(shè)計(jì)的DPU。據(jù)了解，BlueField-3 DPU可以很好的實(shí)現(xiàn)數(shù)據(jù)中心基礎(chǔ)設(shè)施工作負(fù)載的卸載、加速和隔離，從而釋放寶貴的CPU資源來(lái)運(yùn)行關(guān)鍵業(yè)務(wù)應(yīng)用。

現(xiàn)代超大規(guī)模云技術(shù)推動(dòng)數(shù)據(jù)中心從基礎(chǔ)上走向了新的架構(gòu)， 利用一種專(zhuān)門(mén)針對(duì)數(shù)據(jù)中心基礎(chǔ)架構(gòu)軟件而設(shè)計(jì)的新型處理器， 來(lái)卸載和加速由虛擬化、網(wǎng)絡(luò)、存儲(chǔ)、安全和其它云原生AI服務(wù)產(chǎn)生的巨大計(jì)算負(fù)荷。BlueField DPU正是為此而生。

作為業(yè)內(nèi)首款400G以太網(wǎng)和NDR InfiniBand DPU，BlueField-3具有出色的網(wǎng)絡(luò)性能?？蔀橐罂量痰墓ぷ髫?fù)載提供軟件定義、硬件加速的數(shù)據(jù)中心基礎(chǔ)設(shè)施解決方案，加速AI到混合云和高性能計(jì)算，再到5G無(wú)線網(wǎng)絡(luò)，BlueField-3 DPU重新定義了各種可能性。

發(fā)布了BlueField-3 DPU后，NVIDIA仍然沒(méi)有停下探索的腳步。NVIDIA發(fā)現(xiàn)，隨著大模型的出現(xiàn)和流行，如何提升GPU集群的分布式計(jì)算性能和效率、提高GPU集群的橫向擴(kuò)展能力、實(shí)現(xiàn)在生成式AI云上的業(yè)務(wù)性能隔離，成為了所有大模型廠商和AI服務(wù)供應(yīng)商共同關(guān)注的問(wèn)題。

為此，在2023年底，NVIDIA推出BlueField-3 SuperNIC，從而面向東西向流量進(jìn)行性能優(yōu)化，它源于BlueField DPU，用了DPU相同的架構(gòu)，但是有別于DPU。DPU專(zhuān)注于對(duì)于基礎(chǔ)設(shè)施操作的卸載，是對(duì)南北向流量進(jìn)行加速和優(yōu)化。BlueField SuperNIC則借鑒了InfiniBand網(wǎng)絡(luò)上的動(dòng)態(tài)路由、擁塞控制和性能隔離等技術(shù)，又兼容了以太網(wǎng)標(biāo)準(zhǔn)在云上的便利性，從而滿足了生成式AI云對(duì)于性能、擴(kuò)展性和多租戶的需求。

總結(jié)來(lái)說(shuō)，目前NVIDIA BlueField-3網(wǎng)絡(luò)平臺(tái)包含兩款產(chǎn)品，分別為實(shí)現(xiàn)限速處理軟件定義、網(wǎng)絡(luò)、存儲(chǔ)和網(wǎng)絡(luò)安全任務(wù)的BlueField-3 DPU和專(zhuān)為強(qiáng)力支持超大規(guī)模AI云而設(shè)計(jì)的BlueField SuperNIC。

▉?DOCA對(duì)DPU有啥用？

聊到DPU的時(shí)候，往往就會(huì)聊到DOCA。那么DOCA是什么？它對(duì)DPU有啥價(jià)值？

通過(guò)上文，我們了解到，NVIDIA有了BlueField-3 DPU和BlueField-3 SuperNIC兩款產(chǎn)品，能夠?qū)Ξ?dāng)前AI算力激增起到很好的加速作用。

但目前，單純的靠硬件產(chǎn)品很難滿足當(dāng)前不同的應(yīng)用場(chǎng)景，那就需要借助軟件的力量。

CUDA是GPU在算力市場(chǎng)上無(wú)人不知的軟件平臺(tái)，而針對(duì)網(wǎng)絡(luò)平臺(tái)的需求，英偉達(dá)采用了同樣的軟硬件一體化的加速方式，在3年前也推出了專(zhuān)為DPU量身定制的軟件開(kāi)發(fā)平臺(tái)DOCA，如今也適用于BlueField -3 SuperNIC。

NVIDIA DOCA擁有豐富的庫(kù)、驅(qū)動(dòng)程序和API，可為DOCA開(kāi)發(fā)者提供 “一站式服務(wù)”，同時(shí)也是加速云基礎(chǔ)設(shè)施服務(wù)的關(guān)鍵。

而且作為全棧的組成部分，DOCA是解開(kāi)AI謎題的關(guān)鍵部分，可將計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和安全聯(lián)系在一起。借助DOCA， 開(kāi)發(fā)者可以通過(guò)創(chuàng)建軟件定義、云原生、DPU和SuperNIC 加速的服務(wù)，并支持零信任保護(hù)，從而滿足現(xiàn)代數(shù)據(jù)中心的性能和安全需求。

目前，經(jīng)過(guò)三年的迭代升級(jí)，DOCA 2.7不僅擴(kuò)展了BlueField DPU在數(shù)據(jù)中心內(nèi)卸載、加速和隔離網(wǎng)絡(luò)、存儲(chǔ)、安全和管理基礎(chǔ)設(shè)施方面所發(fā)揮的作用。該版本還進(jìn)一步增強(qiáng)了 AI 云數(shù)據(jù)中心，并加速了NVIDIA Spectrum-X網(wǎng)絡(luò)平臺(tái)，為 AI 工作負(fù)載提供了卓越的性能。

下面我們來(lái)看下DOCA對(duì)于包含GPU和NVIDIA BlueField-3DPU或 BlueField–3 SuperNIC的關(guān)鍵作用：

總結(jié)來(lái)說(shuō)，適用于DPU和SuperNIC的NVIDIA DOCA就像適用于GPU的CUDA一樣。DOCA匯集了各種強(qiáng)大的 API、庫(kù)和驅(qū)動(dòng)，可用于編程和加速現(xiàn)代數(shù)據(jù)中心基礎(chǔ)設(shè)施。

▉?DOCA開(kāi)發(fā)將成為下一個(gè)藍(lán)海賽道？

毫無(wú)疑問(wèn)，隨著AI、深度學(xué)習(xí)、元宇宙等技術(shù)場(chǎng)景的出現(xiàn)，越來(lái)越多的企業(yè)需要有更多的DOCA開(kāi)發(fā)者加入進(jìn)來(lái)讓更多的創(chuàng)新和想法落地。大家耳熟能詳?shù)脑品?wù)提供商對(duì)DPU的需求越來(lái)越多，需要借助DOCA硬件加速技術(shù)來(lái)優(yōu)化數(shù)據(jù)中心的性能。

而且隨著企業(yè)對(duì)高效、安全的數(shù)據(jù)處理需求的增加，DOCA開(kāi)發(fā)也成為云基礎(chǔ)設(shè)施工程師、云架構(gòu)師、網(wǎng)絡(luò)工程師等崗位獲得競(jìng)爭(zhēng)優(yōu)勢(shì)的一項(xiàng)技能。另外，DOCA開(kāi)發(fā)者還能夠創(chuàng)建軟件定義、云原生和DPU加速的服務(wù)，參與DOCA開(kāi)發(fā)不僅可以提升個(gè)人技能，還能增強(qiáng)在技術(shù)社區(qū)中的影響力。

目前來(lái)看，DOCA的開(kāi)發(fā)者數(shù)量還遠(yuǎn)遠(yuǎn)不能夠滿足市場(chǎng)需求。據(jù)官方資料顯示，全球共有14000多名DOCA開(kāi)發(fā)者，其中近一半來(lái)自中國(guó)。雖然看起來(lái)人不少，但是相比CUDA在全球有500萬(wàn)開(kāi)發(fā)者來(lái)看，DOCA開(kāi)發(fā)者還有很大的增長(zhǎng)空間。

但畢竟DOCA才發(fā)布僅僅三年多的時(shí)間，CUDA已經(jīng)有將近30年的歷史。當(dāng)然，這也從側(cè)面說(shuō)明了DOCA還處在發(fā)展的初期，潛力還很大。

為了吸引更多的開(kāi)發(fā)者加入到DOCA開(kāi)發(fā)中，NVIDIA這幾年也一直積極通過(guò)各種活動(dòng)為開(kāi)發(fā)者提供更多幫助，包括籌備并落地DOCA中國(guó)開(kāi)發(fā)者社區(qū)，舉辦DOCA開(kāi)發(fā)者線上線下訓(xùn)練營(yíng)，舉辦了DOCA開(kāi)發(fā)者黑客松比賽等等。

不僅如此，在2024年6月份，NVIDIA DPU編程入門(mén)課程在澳門(mén)科技大學(xué)正式開(kāi)課，公開(kāi)的課程大綱顯示，內(nèi)容包含了NVIDIA BlueField網(wǎng)絡(luò)平臺(tái)和NVIDIA DOCA件框架如何加速AI計(jì)算的全面介紹，助力高校學(xué)生在AI時(shí)代獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。

對(duì)于想轉(zhuǎn)型的開(kāi)發(fā)者和即將畢業(yè)的大學(xué)生來(lái)說(shuō)，DOCA開(kāi)發(fā)是一個(gè)被很多人看好的方向。

在年初結(jié)束的NVIDIA DOCA應(yīng)用代碼分享活動(dòng)中，就有眾多開(kāi)發(fā)者脫穎而出獲得獎(jiǎng)項(xiàng)，這其中就包括不少在校大學(xué)生。在本次活動(dòng)中獲得一等獎(jiǎng)的陳勤，是一名計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)在讀碩士研究生，他表示：“通過(guò)DOCA的開(kāi)發(fā)，不僅提升了我的能力，還為我?guī)?lái)了潛在的工作機(jī)會(huì)。我在社區(qū)也獲得了很多前輩的肯定，讓我對(duì)自己更有信心。”

如今，NVIDIA DOCA中國(guó)開(kāi)發(fā)者社區(qū)還在不斷壯大，各種豐富的活動(dòng)與內(nèi)容也將持續(xù)呈現(xiàn)，對(duì)于想進(jìn)入DOCA開(kāi)發(fā)的小伙伴無(wú)疑是一個(gè)好時(shí)機(jī)。最近我也在試用DOCA軟件開(kāi)發(fā)套件，如果有感興趣的小伙伴兒，可以一起研究下，通過(guò)這個(gè)鏈接通過(guò)這個(gè)鏈接（
https://developer.nvidia.cn/doca-downloads）就可以免費(fèi)下載DOCA，有問(wèn)題可以留言一起討論。