根據(jù)TrendForce的數(shù)據(jù)，AI服務器的出貨量約為130,000臺，占全球服務器總出貨量的約1%。隨著微軟、Meta、百度和字節(jié)跳動等主要制造商相繼推出基于生成式AI的產品和服務，訂單量顯著增加。預測顯示，在ChatGPT等應用的持續(xù)需求推動下，從2023年到2027年，AI服務器市場預計將保持每年12.2%的復合年增長率。在這種背景下，AI服務器的發(fā)展尤為引人注目。

DGX H100：開拓AI領域的先驅性進展

DGX H100是英偉達（NVIDIA） DGX系統(tǒng)于2022年發(fā)布的最新版本，也是英偉達（NVIDIA） DGX SuperPOD的核心。該系統(tǒng)采用8個H100 GPU和6400億個晶體管，其AI性能是上一代的6倍，尤其是在新的FP8精度方面表現(xiàn)出色。此外，DGX服務器還可提供900GB/s帶寬，彰顯了AI能力的顯著提升。

DGX H100服務器采用IP網卡，既可作為網卡，又可作為PCIe擴展交換機，符合PCIe 5.0標準。此外服務器還包括CX7，以2張卡的形式提供，每張卡含有4個CX7芯片，并提供2個800G OSFP光模塊端口。對于GPU互連（H100），NVSwitch芯片起到關鍵作用。每個GPU向外擴展18個NVLink，實現(xiàn)每個鏈路雙向帶寬達到50GB/s，總共達到900GB/s的雙向帶寬。這些帶寬分布在4個內置的NVSwitch芯片上，每個NVSwitch對應4-5個OSFP光模塊。每個OSFP光模塊使用8個光通道，傳輸速率為100Gbps/通道，因此總速率達到800Gbps，實現(xiàn)高速數(shù)據(jù)傳輸。

CPU、GPU等組件互連：采用PCIe交換機和重定時芯片進行連接

PCIe交換機技術的演進：克服通道限制

PCIe交換機（也稱為PCIe集線器）是一個關鍵組件，用于通過PCIe通信協(xié)議連接PCIe設備。它通過擴展和聚合功能，使多個設備能夠連接到1個PCIe端口，可在很大程度上克服PCIe通道數(shù)量局限的問題。目前，PCIe交換機廣泛應用于傳統(tǒng)存儲系統(tǒng)，并在各種服務器平臺上越來越受歡迎，為系統(tǒng)內的數(shù)據(jù)傳輸速率提供顯著改善。

隨著時間的推移，PCIe總線技術的進展意味著PCIe交換機速率的逐漸增加。最初由英特爾于2001年作為第三代I/O技術以"3GIO"的名義推出，經過PCI-SIG的評估后在2002年更名為"PCI Express"。2003年正式發(fā)布的PCIe 1.0成為一個重要的里程碑，支持每通道傳輸速率為250MB/s，總傳輸速率為2.5 GT/s。在2022年，PCI-SIG正式發(fā)布了PCIe 6.0規(guī)范，將總帶寬提升至64 GT/s。

PCIe重定時行業(yè)的主導趨勢

在AI服務器中，為了確保GPU和CPU連接時的信號質量，至少需要使用一個重定時芯片。一些AI服務器選擇使用多個重定時芯片，比如Astera Labs就在其AI加速器配置中集成了4個重定時芯片。

目前，PCIe重定時市場具有巨大的潛力，有三家領先品牌和許多潛在競爭對手。目前，Parade Technologies、Astera Labs和瀾起科技是這個蓬勃發(fā)展市場的主要參與者，占據(jù)重要的地位。值得注意的是，作為PCIe部署的早期使用者，瀾起科技是中國內地唯一能夠大規(guī)模生產PCIe 4.0重定時的供應商。此外，瀾起科技在PCIe 5.0重定時的開發(fā)方面也取得了穩(wěn)步進展。

此外，Renesas、TI和微芯科技等芯片制造商也積極參與PCIe重定時產品的開發(fā)。根據(jù)官網站信息，Renesas提供2款PCIe 3.0重定時產品，分別是89HT0816AP和89HT0832P。TI提供了一款16Gbps 8通道PCIe 4.0重定時產品- DS160PT801。此外，微芯科技在2020年11月推出了XpressConnect系列的重定時芯片，旨在實現(xiàn)PCIe 5.0的32GT/s速率。

GPU之間的互連：NVLink和NVSwitch

全球主要芯片制造商非常重視推廣高速接口技術。其中，英偉達（NVIDIA）的NVLink、AMD的Infinity Fabric和英特爾的CXL都做出了重要貢獻。

NVLink是由英偉達（NVIDIA）開發(fā)的高速互連技術。它旨在加速CPU與GPU、GPU與GPU之間的數(shù)據(jù)傳輸速率，提升系統(tǒng)性能。從2016年到2022年，NVLink經歷多次升級，已經發(fā)展到第四代。2016年，英偉達（NVIDIA）配合Pascal GP100 GPU的發(fā)布推出第一代NVLink。NVLink采用了高速信號互連（NVHS）技術，主要用于GPU之間和GPU與CPU之間的信號傳輸。GPU之間通過差分阻抗電信號以NRZ（不歸零）形式進行編碼傳輸。第一代NVLink單鏈路實現(xiàn)了40GB/s的雙向帶寬，單個芯片可以支持4個鏈路，總雙向帶寬達到160GB/s。

NVLink不同階段的發(fā)展

NVLink技術經歷多次迭代，推動了高速互連的創(chuàng)新。2017年，基于Volta架構推出第二代NVLink。它實現(xiàn)每個鏈路50GB/s的雙向帶寬，每個芯片支持6個鏈路，總雙向帶寬達到300GB/s。2020年，基于Ampere架構的第三代發(fā)布，總雙向帶寬達到600GB/s。在2022年，基于Hopper架構的第四代推出。這一迭代轉向使用PAM4調制的電信號，每個鏈路保持50GB/s的雙向帶寬，每個芯片支持18個鏈路，總雙向帶寬達到900GB/s。

NVSwitch的發(fā)展推動實現(xiàn)高性能GPU互連

在2018年，英偉達（NVIDIA）推出NVSwitch的最初版本，為增強帶寬、減少延遲和促進服務器內多個GPU之間的通信提供解決方案。第一代NVSwitch采用TSMC的12nm FinFET工藝制造，擁有18個NVLink 2.0接口。通過部署12個NVSwitch，1個服務器可以容納和優(yōu)化16個V100 GPU之間的互連速率。

目前，NVSwitch已經發(fā)展到第三代，采用TSMC的4N工藝制造。每個NVSwitch芯片配備了64個NVLink 4.0端口，使GPU之間的通信速率達到了900GB/s。通過NVLink Switch互連的GPU可以集體作為一個具有深度學習能力的高性能加速器運行。

總結

PCIe芯片、重定時芯片和NVSwitch等接口互連芯片技術的發(fā)展很大程度上增強CPU和GPU之間以及GPU之間的互動能力。這些技術的相互作用凸顯了人工智能服務器的動態(tài)景觀，為高性能計算的進步做出貢獻。