? ? “ChatGPT是人工智能領域的iPhone時刻，也是計算領域有史以來最偉大的技術之一。”?英偉達創(chuàng)始人兼CEO黃仁勛此前這樣盛贊ChatGPT。

? ? ChatGPT突然爆火，對大算力芯片提出了更高更多的要求。近日，據韓國經濟日報報道，受惠于ChatGPT，三星、SK海力士HBM（high?bandwidth?memory，高帶寬內存）接單量大增。

HBM是什么？

? ? ?HBM（High Bandwidth Memory）即高帶寬存儲器，是基于硅通孔（TSV）和微凸點（Microbump）技術將多個DRAMdie和Logicdie堆疊而成的具有三維結構的存儲產品。

? ? GPU的主流存儲方案目前有GDDR和HBM兩種。在馮·諾依曼計算機體系結構中，存在著“內存墻”和“功耗墻”問題，由于傳統(tǒng)顯存GDDR5面臨著帶寬低、功耗高等瓶頸，HBM則能通過3D封裝工藝實現DRAMdie的垂直方向堆疊封裝，可以極大程度節(jié)約存儲芯片占據的面積，實現更高的集成度和更大存儲容量。

? ? ?在傳輸速率方面，基于TSV工藝可以在存儲芯片上制造多個內存通道、且更高集成度使得HBM和處理器之間物理距離得以縮短，因此HBM在位寬、帶寬等關鍵性能上均明顯優(yōu)于GDDR。根據SAMSUNG，3DTSV工藝較傳統(tǒng)POP封裝形式節(jié)省了35%的封裝尺寸，降低了50%的功耗，并且對比帶來了8倍的帶寬提升，有效解決了內存墻問題和功耗墻問題，成為當前滿足AI需求的最佳方案，被所有主流AI芯片采用。

為什么需要HBM？

? ? 主要是因為隨著GPU 的功能越來越強大，需要更快地從內存中訪問數據，以縮短應用處理時間。例如，AI和視覺，具有巨大內存和計算和帶寬要求。

? ? 為了減小“內存墻”的影響，提升內存帶寬一直是存儲芯片聚焦的關鍵問題。

? ? 半導體的先進封裝為克服阻礙高性能計算應用程序的內存訪問障礙提供了機會，內存的延遲和密度都是可以在封裝級別解決的挑戰(zhàn)?；趯ο冗M技術和解決方案開展的研究，內存行業(yè)在新領域進行了更深入的探索。

? ? 為了克服這些挑戰(zhàn)，半導體封裝設計人員采用了異構集成路線，以在更靠近處理器的位置包含更多內存。而HBM就為現代處理器和嵌入式系統(tǒng)當前面臨的內存障礙問題提供了解決方案。這些存儲器為系統(tǒng)設計人員提供了兩個優(yōu)勢：一是減少組件占用空間和外部存儲器要求；二是更快的內存訪問時間和速率。

? ? 疊起來之后，直接結果就是接口變得更寬，其下方互聯的觸點數量遠遠多于DDR內存連接到CPU的線路數量。因此，與傳統(tǒng)內存技術相比，HBM具有更高帶寬、更多I/O數量、更低功耗、更小尺寸。

? ? 目前，HBM產品以HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的順序開發(fā)，最新的HBM3E是HBM3的擴展版本。

? ? ?當然，存儲器的容量也在不斷加大：HBM2E的最大容量為16GB，目前，三星正在利用其第四代基于EUV光刻機的10nm制程（14nm）節(jié)點來制造24GB容量的HBM3芯片，此外8層、12層堆疊可在HBM3E上實現36GB（業(yè)界最大）的容量，比HBM3高出50%。

? ? 此前SK海力士、美光均已宣布推出HBM3E芯片，皆可實現超過1TB/s的帶寬。

? ? 同時，三星也宣布HBM4內存將采用更先進的芯片制造和封裝技術，雖然HBM4的規(guī)格尚未確定，但有消息稱業(yè)界正尋求使用2048位內存接口，并使用FinFET晶體管架構來降低功耗。三星希望升級晶圓級鍵合技術，從有凸塊的方式轉為無凸塊直接鍵合。因此，HBM4的成本可能會更高。

HBM的未來應用前景

? ? 隨著AI大模型、智能駕駛等新技術的崛起，人們對高帶寬的內存的需求越來越多。

? ? 首先，AI服務器的需求會在近兩年爆增，如今在市場上已經出現了快速的增長。AI服務器可以在短時間內處理大量數據，GPU可以讓數據處理量和傳輸速率的大幅提升，讓AI服務器對帶寬提出了更高的要求，而HBM基本是AI服務器的標配。

? ? 除了AI服務器，汽車也是HBM值得關注的應用領域。汽車中的攝像頭數量，所有這些攝像頭的數據速率和處理所有信息的速度都是天文數字，想要在車輛周圍快速傳輸大量數據，HBM具有很大的帶寬優(yōu)勢。

? ? ?另外，AR和VR也是HBM未來將發(fā)力的領域。因為VR和AR系統(tǒng)需要高分辨率的顯示器，這些顯示器需要更多的帶寬來在 GPU 和內存之間傳輸數據。而且，VR和AR也需要實時處理大量數據，這都需要HBM的超強帶寬來助力。

? ? 此外，智能手機、平板電腦、游戲機和可穿戴設備的需求也在不斷增長，這些設備需要更先進的內存解決方案來支持其不斷增長的計算需求，HBM也有望在這些領域得到增長。并且，5G 和物聯網 (IoT) 等新技術的出現也進一步推動了對 HBM 的需求。

? ? 并且，AI的浪潮還在愈演愈烈，HBM今后的存在感或許會越來越強。據semiconductor-digest預測，到2031年，全球高帶寬存儲器市場預計將從2022年的2.93億美元增長到34.34億美元，在2023-2031年的預測期內復合年增長率為31.3%。

HBM需要克服的問題

1：HBM需要較高的工藝從而導致大幅度提升了成本。

針對更大數據集、訓練工作負載所需的更高內存密度要求，存儲廠商開始著手研究擴展Die堆疊層數和物理堆疊高度，以及增加核心Die密度以優(yōu)化堆疊密度。

但就像處理器芯片摩爾定律發(fā)展一樣，當技術發(fā)展到一個階段，想要提升更大的性能，那么成本反而會大幅提升，導致創(chuàng)新放緩。

2：產生大量的熱，如何散熱是GPU極大的挑戰(zhàn)。

行業(yè)廠商需要在不擴大現有物理尺寸的情況下增加存儲單元數量和功能，從而實現整體性能的飛躍。但更多存儲單元的數量讓GPU的功耗大幅提升。新型的內存需要盡量減輕內存和處理器之間搬運數據的負擔。

最后總結

隨著人工智能、機器學習、高性能計算、數據中心等應用市場的興起，內存產品設計的復雜性正在快速上升，并對帶寬提出了更高的要求，不斷上升的寬帶需求持續(xù)驅動HBM發(fā)展。相信未來，存儲巨頭們將會持續(xù)發(fā)力、上下游廠商相繼入局，讓HBM得到更快的發(fā)展和更多的關注。

參考資料

[01] 《An Overview of the Development of a GPU with integrated HB Mon Silicon Interposer》，IEEE

[02]?https://www.eepw.com.cn/article/202312/454189.htm

[03]?https://www.eet-china.com/news/202302168387.html

[04]?李川,鄭浩,王彥輝.硅轉接層高帶寬存儲互連通道信號完整性設計及仿真
?[J]. 計算機工程與科學. 2022 (02)

[05] 吳鐵彬,過鋒,王諦.
面向E級計算的高性能處理器核心運算架構研究進展[J]. 計算機工程與科學. 2023 (05)