HBM之父：HBM的終點(diǎn)是HBF

韓國半導(dǎo)體公司SK海力士日前宣布，已完成下一代超高性能AI存儲(chǔ)器產(chǎn)品HBM4的開發(fā)，并且已經(jīng)為全球首次量產(chǎn)準(zhǔn)備就緒。

HBM4將是下一代數(shù)據(jù)中心和AI芯片的首選標(biāo)準(zhǔn)，是存儲(chǔ)三巨頭海力士、三星和美光爭(zhēng)壓的一張王牌。將使用它的英偉達(dá)Rubin GPU，已經(jīng)最近在臺(tái)積電成功流片，2026年量產(chǎn)。

(從HBM3到HBM4架構(gòu)）

HBM4 擁有業(yè)界最佳的數(shù)據(jù)處理速度和能效，采用2,048 個(gè) I/O 端口，帶寬較上一代翻倍，能效提升 40% 以上。預(yù)計(jì)該產(chǎn)品應(yīng)用后，AI 服務(wù)性能將提升高達(dá) 69%，從而解決數(shù)據(jù)瓶頸問題，并大幅降低數(shù)據(jù)中心的電力成本。

SK海力士表示：“HBM4的開發(fā)完成將成為行業(yè)新的里程碑。”未來，HBM將不再是標(biāo)準(zhǔn)化產(chǎn)品。為了降低整體的功耗和性能損失，上游AI芯片廠商紛紛開啟了定制化趨勢(shì)。它主要是用針對(duì)特定AI加速器架構(gòu)定制的基底裸片（custom base die），取代了傳統(tǒng)的通用裸片，優(yōu)化信號(hào)路徑、電源分配和接口協(xié)議，從而實(shí)現(xiàn)更高的能效和帶寬密度。Semianalysis認(rèn)為，這是一次革新架構(gòu)層面的重大飛躍，徹底改變了HBM與AI加速器的集成方式。

今年6月，SK海力士已與英偉達(dá)、微軟、博通達(dá)成HBM4E定制合作，三星也在與博通、AMD談判。這對(duì)中國廠商意味著更高的技術(shù)門檻與商業(yè)壁壘。亞馬遜AWS高管甚至稱，定制化可能“關(guān)閉其他玩家的大門”。HBM國產(chǎn)替代仍要加速奔跑，盡早實(shí)現(xiàn)國產(chǎn)AI算力生態(tài)閉環(huán)。

HBM5時(shí)代，英偉達(dá)殺入

存儲(chǔ)墻的長期存在，成本持續(xù)上漲，威脅著英偉達(dá)未來的市場(chǎng)地位。從Ampere到Blackwell Ultra，HBM不僅在材料清單（BOM）中成本超過一半，而且還在繼續(xù)增長，BOM增長中絕對(duì)和相對(duì)增長的最大部分都來自HBM。

在計(jì)算與存儲(chǔ)架構(gòu)融合的趨勢(shì)下，HBM決定著未來AI芯片制高點(diǎn)，英偉達(dá)從去年即開始布局掌握核心技術(shù)。最近更是傳出英偉達(dá)將自己設(shè)計(jì)HBM基礎(chǔ)裸片。這是一項(xiàng)至關(guān)重要的核心技術(shù)，英偉達(dá)已經(jīng)決定，今后無論用誰家的HBM，基礎(chǔ)裸片必須自家設(shè)計(jì)。據(jù)業(yè)內(nèi)盛傳，3納米制程的基礎(chǔ)裸片，預(yù)計(jì)將于2027年下半年小規(guī)模量產(chǎn)。

實(shí)際上，英偉達(dá)已經(jīng)于2024年8月就向美國專利局提交了一份專利申請(qǐng)，并于12月獲批。這項(xiàng)專利是一種 3D 堆疊式“近存儲(chǔ)計(jì)算”架構(gòu)，通過讓處理器裸芯片與存儲(chǔ)裸層層堆疊并一一對(duì)應(yīng)，提升了數(shù)據(jù)局部性和運(yùn)算效率，特別適用于 AI 大模型訓(xùn)練和高性能計(jì)算場(chǎng)景。

這樣的話，英偉達(dá)的自己設(shè)計(jì)的裸芯片將有可能用于HBM5。據(jù)韓國科學(xué)技術(shù)院（KAIST）的Tera Lab最近展望，HBM5 將于 2029 年上市，瞄準(zhǔn)英偉達(dá)的費(fèi)曼（Feynman）產(chǎn)品。

HBF將取代HBM

HBM 已經(jīng)成為韓國半導(dǎo)體產(chǎn)業(yè)同義詞，而韓國 KAIST（韓國科學(xué)技術(shù)研究院）的金正浩教授被稱為“HBM之父”。他讓韓國AI半導(dǎo)體享譽(yù)世界，為三星電子、SK海力士等韓國半導(dǎo)體企業(yè)主導(dǎo)全球高寬帶存儲(chǔ)產(chǎn)業(yè)，提供了理論與技術(shù)的支持。

今年6月，金教授指導(dǎo)TeraLab 公布了一份至2038年的 HBM 路線圖，規(guī)劃了從HBM4 到HBM8的技術(shù)進(jìn)步。

金教授預(yù)測(cè)：“在HBM4中，一些GPU功能將被整合進(jìn)基底芯片，同時(shí)使用LPDDR 存儲(chǔ)器，可以緩解數(shù)據(jù)瓶頸?！钡搅薍BM5階段，構(gòu)成 HBM 的DRAM 中的TSV（硅通孔）數(shù)量將增加到 4000 根以上，嵌入SRAM 緩存，并且將封裝直接浸入冷卻液，這種浸沒式冷卻會(huì)成為標(biāo)準(zhǔn)。HBM6將在基底芯片上以“雙子塔”的形式排列多個(gè)HBM堆棧，并引入玻璃與硅結(jié)合的混合中介層。

金教授認(rèn)為，這時(shí)真正的變革才開始。

HBM7將采用嵌入式冷卻技術(shù)，讓冷卻液直接在存儲(chǔ)晶片之間流動(dòng)。更重要的是，在這一階段，一個(gè)名為高帶寬閃存（HBF）的新概念將出現(xiàn)，它利用 NAND。最終，HBM8將演化為完全的3D結(jié)構(gòu)，HBM 將同時(shí)置于GPU的上下兩側(cè)，帶寬有望達(dá)到每秒64TB。

9月3日，在仁川松島會(huì)展中心舉行的國際先進(jìn)半導(dǎo)體基板·封裝產(chǎn)業(yè)展（KPCA Show）Insight 2025主旨演講中，金教授表示：“未來，將NAND閃存像高帶寬內(nèi)存（HBM）一樣堆疊的HBF，將左右整個(gè)業(yè)界的性能表現(xiàn)。”

HBF是一種基于NAND閃存的堆疊式內(nèi)存，其技術(shù)概念與HBM相似。今年初，美國存儲(chǔ)公司SanDisk公開表示正在開發(fā)這項(xiàng)技術(shù)。它與HBM的實(shí)現(xiàn)方式類似，后者是將DRAM芯片像塔一樣垂直堆疊，然后通過硅通孔（TSV）進(jìn)行垂直互連。HBF的不同之處在于，它用NAND閃存取代了DRAM芯片，以特定的方式進(jìn)行堆疊。

Sandisk認(rèn)為，今年以來發(fā)布的大模型出現(xiàn)了明顯的趨勢(shì)。每一代新模型尺寸和上下文長度都在增加，這推動(dòng)了對(duì)更高內(nèi)存容量的需求，而混合專家 (MoE) 等架構(gòu)創(chuàng)新的實(shí)施導(dǎo)致計(jì)算需求呈下降趨勢(shì)。這種對(duì)更多內(nèi)存和更少計(jì)算需求的組合催生了一種新范式，Sandisk稱之為“以內(nèi)存為中心的 AI”的新范式——它最適合基于 HBF 的系統(tǒng)。

而基于 NAND 的架構(gòu)可提供 8 到 16 倍于HBM的容量，同時(shí)以相同的價(jià)格提供相同的讀取帶寬。

（來源：Sandisk)

金教授指出：“目前，三星電子和SK海力士的業(yè)績(jī)主要由HBM決定，但十年后，HBF將取而代之。”

他說：“HBM負(fù)責(zé)速度，而HBF將負(fù)責(zé)容量?！彼脑O(shè)想是堆疊數(shù)百層NAND閃存，將其重構(gòu)為類似HBM的高帶寬結(jié)構(gòu)。預(yù)計(jì)在未來10年內(nèi)，HBF可能會(huì)成為存儲(chǔ)市場(chǎng)的另一大支柱。已有一些海外公司希望在這一研究上與金教授進(jìn)行合作。

HBF可以取代HBM基底芯片上LPDDR的位置。通過補(bǔ)充HBM的容量限制，HBF可以直接在GPU內(nèi)存儲(chǔ)大型AI模型。在這種架構(gòu)中，HBM將扮演臨時(shí)快速處理數(shù)據(jù)的緩存角色，而HBF則充當(dāng)存儲(chǔ)海量AI模型本身的主內(nèi)存角色。金教授預(yù)測(cè)：“同時(shí)生產(chǎn)DRAM和NAND閃存的三星電子和SK海力士這兩家公司將迎來巨大的發(fā)展機(jī)遇?！盨andisk已經(jīng)與 SK海力士合作，共同制定HBF的全面行業(yè)標(biāo)準(zhǔn)。

除了內(nèi)存帶寬和容量之外，金教授還將HBM的穩(wěn)定供電和散熱管理列為重要的AI性能決定因素。他分析道：“TSV在供電和散熱管理中扮演著重要角色。三星電子和SK海力士的產(chǎn)品在質(zhì)量上可能存在差異，部分原因可能在于對(duì)TSV的精簡(jiǎn)?！?/p>

金氏定律

如果說在加速計(jì)算領(lǐng)域有“黃氏定律”，在存儲(chǔ)領(lǐng)域就有“金氏定律”（Kim's law）。金教授于2017年提出，密集三維集成電路中堆疊和層數(shù)大約每?jī)赡攴环㈩A(yù)測(cè)這一增長率將持續(xù)多年。

金教授的預(yù)測(cè)多年來已被證實(shí)。它已被用于指導(dǎo)韓國半導(dǎo)體行業(yè)的長期規(guī)劃和制定研發(fā)目標(biāo)。高帶寬系統(tǒng)的進(jìn)步與金氏定律密切相關(guān)：數(shù)據(jù)帶寬、I/O數(shù)量和內(nèi)存容量。高數(shù)據(jù)帶寬系統(tǒng)促進(jìn)了圖形計(jì)算、高性能計(jì)算系統(tǒng)和機(jī)器學(xué)習(xí)應(yīng)用的最新發(fā)展。

當(dāng)HBM剛開始研發(fā)時(shí)，很多人質(zhì)疑誰會(huì)使用這樣昂貴而復(fù)雜的存儲(chǔ)器，但金教授團(tuán)隊(duì)追求學(xué)術(shù)成就，堅(jiān)持研究，隨著ChatGPT的出現(xiàn)，他們的成果迎來了爆發(fā)。SK海力士和三星電子開發(fā)的HBM都融合了金教授的研究。實(shí)驗(yàn)室的成果也在ISSCC、VLSI等國際會(huì)議上發(fā)表，并為 HBM 標(biāo)準(zhǔn)化進(jìn)程提供了關(guān)鍵理論。

金教授表示：“決定AI性能的不是 GPU，而是HBM的帶寬和連接數(shù)量?！逼鋱F(tuán)隊(duì)的使命，就是為了實(shí)現(xiàn)這一藍(lán)圖奠定理論基礎(chǔ)。

其原因在于，人工智能（AI）的性能提升越來越依賴于內(nèi)存帶寬和容量。金教授解釋說：“當(dāng)前的AI主要基于Transformer深度學(xué)習(xí)架構(gòu)的生成式AI。要處理一個(gè)輸入Token達(dá)到100萬個(gè)的模型，需要TB級(jí)別的數(shù)據(jù)?！彼a(bǔ)充道：“當(dāng)每秒需要對(duì)TB級(jí)別的大數(shù)據(jù)進(jìn)行數(shù)千次的讀寫操作時(shí)，如果內(nèi)存帶寬不足，就會(huì)出現(xiàn)瓶頸現(xiàn)象。”

一旦出現(xiàn)瓶頸，基于OpenAI的ChatGPT或Google Gemini等大型語言模型的生成式AI服務(wù)響應(yīng)速度就會(huì)變慢。這種瓶頸源于當(dāng)前計(jì)算機(jī)的基礎(chǔ)架構(gòu)，即馮·諾依曼架構(gòu)。在這種架構(gòu)下，CPU或GPU與內(nèi)存是物理分離的，因此兩者之間的數(shù)據(jù)傳輸速度（即帶寬）至關(guān)重要。金教授強(qiáng)調(diào)：“即使GPU的尺寸擴(kuò)大一倍，如果內(nèi)存帶寬不足，也無濟(jì)于事。AI的性能最終受限于內(nèi)存，并由內(nèi)存的性能決定?！?/p>

Teralab，HBM研究樞紐

（金教授在TeraLab門口）

自 2000 年代初金正浩教授創(chuàng)建 TeraLab 以來，這里就成為一個(gè)專注于存儲(chǔ)與封裝的全球研究樞紐。HBM是其中的核心。TeraLab把 HBM從一個(gè)概念變?yōu)楝F(xiàn)實(shí)，并且一步一步地把曾經(jīng)被視為低價(jià)值元件的存儲(chǔ)半導(dǎo)體，轉(zhuǎn)變?yōu)楦邇r(jià)值的半導(dǎo)體和AI的核心部件。金教授也因此被稱為“HBM 之父”。

金教授的團(tuán)隊(duì)和實(shí)驗(yàn)室連接著產(chǎn)業(yè)現(xiàn)場(chǎng)。自2010年代初期起，他們便參與與三星電子、SK海力士的HBM商用化研究，架起了學(xué)界與產(chǎn)業(yè)的橋梁。實(shí)驗(yàn)室開發(fā)的封裝仿真技術(shù)，以及電源與信號(hào)完整性分析方法，成為全球首款 HBM 產(chǎn)品開發(fā)的基石。

TeraLab的論文在學(xué)術(shù)界和業(yè)界被廣泛引用，尤其是封裝與存儲(chǔ)接口論文已被引用數(shù)百次，實(shí)驗(yàn)室提出的“基于混合鍵合的TSV結(jié)構(gòu)”，直接被應(yīng)用于HBM3E和下一代HBM的設(shè)計(jì)中。

HBM并不是唯一的研究重點(diǎn)。實(shí)驗(yàn)室的2.5D 和 3D封裝技術(shù)同樣世界領(lǐng)先。他們提出的微通道冷卻設(shè)計(jì)和中介層功耗優(yōu)化分析，已經(jīng)成為全球公司在設(shè)計(jì)下一代 GPU 和 AI 芯片時(shí)參考的基礎(chǔ)模型。金教授還代表韓國參與了《國際半導(dǎo)體技術(shù)路線圖》（ITRS）和 IEEE 《異構(gòu)集成路線圖》（HIR），把TeraLab的研究成果帶入全球標(biāo)準(zhǔn)化討論。

這些研究成果也促進(jìn)了人才培養(yǎng)。迄今為止，已有 200 多名學(xué)生在 TeraLab 獲得碩士和博士學(xué)位，許多人如今在三星電子、SK 海力士、英偉達(dá)、谷歌和蘋果等全球半導(dǎo)體公司擔(dān)任核心技術(shù)人員。許多科技巨頭都熱衷于招募擁有半導(dǎo)體背景經(jīng)驗(yàn)的學(xué)生。這些學(xué)生不僅進(jìn)入主要的半導(dǎo)體公司，還加入了 Meta、特斯拉和 Groq。金教授說：“如今，連蘋果都迫切希望招收我們實(shí)驗(yàn)室的學(xué)生。”

TeraLab 的運(yùn)營模式非同尋常。金教授認(rèn)為：“靠短期的政府項(xiàng)目是無法中大獎(jiǎng)的?！彼J(rèn)為政府主導(dǎo)的研究支持實(shí)際上會(huì)限制創(chuàng)造力。相反，實(shí)驗(yàn)室通過與企業(yè)的合作研究項(xiàng)目來保證研究費(fèi)用，而碩博生的論文研究則專注于 HBM。在金教授辦公室外，可以看到眾多與其合作過的公司 Logo，甚至包括現(xiàn)代汽車。實(shí)驗(yàn)室通過企業(yè)項(xiàng)目籌資，而論文研究則完全專注于長期的特定主題，學(xué)生獲得了企業(yè)研究環(huán)境的經(jīng)驗(yàn)，成為可立即投入工作的技術(shù)人才。

金教授在研究成果處理上也采取了不同的做法。他說：“HBM 能成功，是因?yàn)槲覀儧]有執(zhí)著于專利?！彼J(rèn)為如果把申請(qǐng)專利當(dāng)作目標(biāo)，技術(shù)反而會(huì)受到束縛。“讓更多人自由使用和發(fā)展想法更重要?！奔又荽髮W(xué)伯克利分校發(fā)明 FinFET 技術(shù)的胡正明教授（自 2010 年以來推動(dòng)半導(dǎo)體小型化），也因類似原因沒有為該技術(shù)申請(qǐng)專利。

最近，金教授對(duì)Agentic AI產(chǎn)生了濃厚興趣。即便離退休不遠(yuǎn)，他仍全力投入新領(lǐng)域。他和學(xué)生們?nèi)缃裾谘芯坷?Agentic AI 實(shí)現(xiàn)自動(dòng)化的 HBM 設(shè)計(jì)。

參考：

https://www.thelec.kr/news/articleView.html?idxno=40242

https://cm.asiae.co.kr/en/article/2025091111213906379

https://tera.kaist.ac.kr/

https://www.sandisk.com/company/newsroom/blogs/2025/memory-centric-ai-sandisks-high-bandwidth-flash-will-redefine-ai-infrastructure