? ? “ChatGPT是人工智能領(lǐng)域的iPhone時刻，也是計算領(lǐng)域有史以來最偉大的技術(shù)之一?！?英偉達(dá)創(chuàng)始人兼CEO黃仁勛此前這樣盛贊ChatGPT。

? ? ChatGPT突然爆火，對大算力芯片提出了更高更多的要求。近日，據(jù)韓國經(jīng)濟(jì)日報報道，受惠于ChatGPT，三星、SK海力士HBM（high?bandwidth?memory，高帶寬內(nèi)存）接單量大增。

HBM是什么？

? ? ?HBM（High Bandwidth Memory）即高帶寬存儲器，是基于硅通孔（TSV）和微凸點（Microbump）技術(shù)將多個DRAMdie和Logicdie堆疊而成的具有三維結(jié)構(gòu)的存儲產(chǎn)品。

? ? GPU的主流存儲方案目前有GDDR和HBM兩種。在馮·諾依曼計算機(jī)體系結(jié)構(gòu)中，存在著“內(nèi)存墻”和“功耗墻”問題，由于傳統(tǒng)顯存GDDR5面臨著帶寬低、功耗高等瓶頸，HBM則能通過3D封裝工藝實現(xiàn)DRAMdie的垂直方向堆疊封裝，可以極大程度節(jié)約存儲芯片占據(jù)的面積，實現(xiàn)更高的集成度和更大存儲容量。

? ? ?在傳輸速率方面，基于TSV工藝可以在存儲芯片上制造多個內(nèi)存通道、且更高集成度使得HBM和處理器之間物理距離得以縮短，因此HBM在位寬、帶寬等關(guān)鍵性能上均明顯優(yōu)于GDDR。根據(jù)SAMSUNG，3DTSV工藝較傳統(tǒng)POP封裝形式節(jié)省了35%的封裝尺寸，降低了50%的功耗，并且對比帶來了8倍的帶寬提升，有效解決了內(nèi)存墻問題和功耗墻問題，成為當(dāng)前滿足AI需求的最佳方案，被所有主流AI芯片采用。

為什么需要HBM？

? ? 主要是因為隨著GPU 的功能越來越強(qiáng)大，需要更快地從內(nèi)存中訪問數(shù)據(jù)，以縮短應(yīng)用處理時間。例如，AI和視覺，具有巨大內(nèi)存和計算和帶寬要求。

? ? 為了減小“內(nèi)存墻”的影響，提升內(nèi)存帶寬一直是存儲芯片聚焦的關(guān)鍵問題。

? ? 半導(dǎo)體的先進(jìn)封裝為克服阻礙高性能計算應(yīng)用程序的內(nèi)存訪問障礙提供了機(jī)會，內(nèi)存的延遲和密度都是可以在封裝級別解決的挑戰(zhàn)。基于對先進(jìn)技術(shù)和解決方案開展的研究，內(nèi)存行業(yè)在新領(lǐng)域進(jìn)行了更深入的探索。

? ? 為了克服這些挑戰(zhàn)，半導(dǎo)體封裝設(shè)計人員采用了異構(gòu)集成路線，以在更靠近處理器的位置包含更多內(nèi)存。而HBM就為現(xiàn)代處理器和嵌入式系統(tǒng)當(dāng)前面臨的內(nèi)存障礙問題提供了解決方案。這些存儲器為系統(tǒng)設(shè)計人員提供了兩個優(yōu)勢：一是減少組件占用空間和外部存儲器要求；二是更快的內(nèi)存訪問時間和速率。

? ? 疊起來之后，直接結(jié)果就是接口變得更寬，其下方互聯(lián)的觸點數(shù)量遠(yuǎn)遠(yuǎn)多于DDR內(nèi)存連接到CPU的線路數(shù)量。因此，與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸。

? ? 目前，HBM產(chǎn)品以HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的順序開發(fā)，最新的HBM3E是HBM3的擴(kuò)展版本。

? ? ?當(dāng)然，存儲器的容量也在不斷加大：HBM2E的最大容量為16GB，目前，三星正在利用其第四代基于EUV光刻機(jī)的10nm制程（14nm）節(jié)點來制造24GB容量的HBM3芯片，此外8層、12層堆疊可在HBM3E上實現(xiàn)36GB（業(yè)界最大）的容量，比HBM3高出50%。

? ? 此前SK海力士、美光均已宣布推出HBM3E芯片，皆可實現(xiàn)超過1TB/s的帶寬。

? ? 同時，三星也宣布HBM4內(nèi)存將采用更先進(jìn)的芯片制造和封裝技術(shù)，雖然HBM4的規(guī)格尚未確定，但有消息稱業(yè)界正尋求使用2048位內(nèi)存接口，并使用FinFET晶體管架構(gòu)來降低功耗。三星希望升級晶圓級鍵合技術(shù)，從有凸塊的方式轉(zhuǎn)為無凸塊直接鍵合。因此，HBM4的成本可能會更高。

HBM的未來應(yīng)用前景

? ? 隨著AI大模型、智能駕駛等新技術(shù)的崛起，人們對高帶寬的內(nèi)存的需求越來越多。

? ? 首先，AI服務(wù)器的需求會在近兩年爆增，如今在市場上已經(jīng)出現(xiàn)了快速的增長。AI服務(wù)器可以在短時間內(nèi)處理大量數(shù)據(jù)，GPU可以讓數(shù)據(jù)處理量和傳輸速率的大幅提升，讓AI服務(wù)器對帶寬提出了更高的要求，而HBM基本是AI服務(wù)器的標(biāo)配。

? ? 除了AI服務(wù)器，汽車也是HBM值得關(guān)注的應(yīng)用領(lǐng)域。汽車中的攝像頭數(shù)量，所有這些攝像頭的數(shù)據(jù)速率和處理所有信息的速度都是天文數(shù)字，想要在車輛周圍快速傳輸大量數(shù)據(jù)，HBM具有很大的帶寬優(yōu)勢。

? ? ?另外，AR和VR也是HBM未來將發(fā)力的領(lǐng)域。因為VR和AR系統(tǒng)需要高分辨率的顯示器，這些顯示器需要更多的帶寬來在 GPU 和內(nèi)存之間傳輸數(shù)據(jù)。而且，VR和AR也需要實時處理大量數(shù)據(jù)，這都需要HBM的超強(qiáng)帶寬來助力。

? ? 此外，智能手機(jī)、平板電腦、游戲機(jī)和可穿戴設(shè)備的需求也在不斷增長，這些設(shè)備需要更先進(jìn)的內(nèi)存解決方案來支持其不斷增長的計算需求，HBM也有望在這些領(lǐng)域得到增長。并且，5G 和物聯(lián)網(wǎng) (IoT) 等新技術(shù)的出現(xiàn)也進(jìn)一步推動了對 HBM 的需求。

? ? 并且，AI的浪潮還在愈演愈烈，HBM今后的存在感或許會越來越強(qiáng)。據(jù)semiconductor-digest預(yù)測，到2031年，全球高帶寬存儲器市場預(yù)計將從2022年的2.93億美元增長到34.34億美元，在2023-2031年的預(yù)測期內(nèi)復(fù)合年增長率為31.3%。

HBM需要克服的問題

1：HBM需要較高的工藝從而導(dǎo)致大幅度提升了成本。

針對更大數(shù)據(jù)集、訓(xùn)練工作負(fù)載所需的更高內(nèi)存密度要求，存儲廠商開始著手研究擴(kuò)展Die堆疊層數(shù)和物理堆疊高度，以及增加核心Die密度以優(yōu)化堆疊密度。

但就像處理器芯片摩爾定律發(fā)展一樣，當(dāng)技術(shù)發(fā)展到一個階段，想要提升更大的性能，那么成本反而會大幅提升，導(dǎo)致創(chuàng)新放緩。

2：產(chǎn)生大量的熱，如何散熱是GPU極大的挑戰(zhàn)。

行業(yè)廠商需要在不擴(kuò)大現(xiàn)有物理尺寸的情況下增加存儲單元數(shù)量和功能，從而實現(xiàn)整體性能的飛躍。但更多存儲單元的數(shù)量讓GPU的功耗大幅提升。新型的內(nèi)存需要盡量減輕內(nèi)存和處理器之間搬運數(shù)據(jù)的負(fù)擔(dān)。

最后總結(jié)

隨著人工智能、機(jī)器學(xué)習(xí)、高性能計算、數(shù)據(jù)中心等應(yīng)用市場的興起，內(nèi)存產(chǎn)品設(shè)計的復(fù)雜性正在快速上升，并對帶寬提出了更高的要求，不斷上升的寬帶需求持續(xù)驅(qū)動HBM發(fā)展。相信未來，存儲巨頭們將會持續(xù)發(fā)力、上下游廠商相繼入局，讓HBM得到更快的發(fā)展和更多的關(guān)注。

參考資料

[01] 《An Overview of the Development of a GPU with integrated HB Mon Silicon Interposer》，IEEE

[02]?https://www.eepw.com.cn/article/202312/454189.htm

[03]?https://www.eet-china.com/news/202302168387.html

[04]?李川,鄭浩,王彥輝.硅轉(zhuǎn)接層高帶寬存儲互連通道信號完整性設(shè)計及仿真
?[J]. 計算機(jī)工程與科學(xué). 2022 (02)

[05] 吳鐵彬,過鋒,王諦.
面向E級計算的高性能處理器核心運算架構(gòu)研究進(jìn)展[J]. 計算機(jī)工程與科學(xué). 2023 (05)