![]()
SK海力士在報告中指出,新架構特別適合人工智能推理。
SK海力士發布了一種以高帶寬閃存(HBF)為核心的新型半導體架構概念。HBF是一種堆疊多個NAND閃存芯片的存儲技術。據韓京新聞報道,該公司最近在電氣電子工程師協會(IEEE)上發表的一篇論文中詳細闡述了這一名為“H3”的概念。H3指的是一種混合架構,它將HBM和HBF集成到單一設計中。
正如報告指出的那樣,H3 架構將 HBM 和 HBF 都放置在負責計算的 GPU 旁邊,而目前的 AI 芯片(包括 NVIDIA 計劃于今年下半年發布的 Rubin 平臺)中,只有 HBM 被放置在 GPU 旁邊。
![]()
為了評估H3設計的可行性,SK海力士進行了仿真測試。在這些測試中,該公司配置了8個第五代HBM(HBM3E)堆棧和8個HBF堆棧,并搭配NVIDIA最新的GPU Blackwell(B200)。正如報告所強調的,仿真結果表明,與僅依賴HBM的配置相比,每瓦性能提升高達2.69倍。
采用 HBF 的 H3 架構或可提升 AI 推理性能
值得注意的是,正如報告所指出的,H3架構被認為特別適合人工智能推理,而人工智能推理正日益成為一個重要的領域。推理指的是模型進行推理并生成響應的能力,而這一過程的核心要素是KV緩存,它會在用戶交互期間臨時存儲對話上下文。
報告解釋說,隨著人工智能模型日趨復雜,KV緩存的需求不斷增長,給HBM和GPU帶來了巨大壓力,可能限制整體計算效率。通過部署HBF作為額外的高容量存儲層來吸收KV緩存,GPU和HBM可以擺脫存儲開銷,專注于高速處理和生成新的輸出。
SK海力士還模擬了HBF處理高達1000萬個令牌的海量KV緩存的場景。報告顯示,模擬結果表明,與僅使用HBM的配置相比,該系統處理并發查詢(批處理大小)的能力提升了高達18.8倍。以前需要32個GPU才能完成的工作負載,現在只需兩個GPU即可完成,從而顯著提高了能效。
HBF商業化面臨的技術挑戰
通過這份報告,該公司強調了HBF作為下一代人工智能存儲解決方案的潛力。然而,正如報告所指出的,在商業化之前仍存在一些挑戰。盡管NAND閃存具有高存儲密度,但其寫入速度相對較慢,尤其是在添加或修改數據時,仍然是一個關鍵的限制因素。
即使HBF主要用于混合架構中的讀取密集型工作負載,寫入性能對于KV緩存應用也變得越來越重要。報告指出,克服這一限制需要更先進的設計,包括顯著提升HBF堆棧底部基極芯片的控制器性能。
盡管如此,隨著HBF在人工智能內存領域發展勢頭強勁,標準化工作也在不斷加強。據Sisa Journal報道,三星電子和SK海力士已與SanDisk簽署諒解備忘錄(MOU),共同推進HBF標準化,并正通過聯合聯盟推進相關工作。兩家公司都在積極研發HBF產品,目標是在2027年實現商業化。
此前,韓國科學技術院(KAIST)電氣工程學院金正浩教授(HBF領域的主要倡導者)稱,12年后,高帶寬閃存(HBF)市場可能會比高帶寬存儲器(HBM)市場更大。他設想高帶寬內存 ( HBM ) 作為 GPU 加速器的高速數據緩存層,并由一層 HBF 為其提供數據,而速度較慢但容量更高的聯網 SSD 存儲則為 HBF 層提供數據。
英偉達發布了推理上下文內存存儲平臺 (ICMSP ),該平臺利用其 Dynamo 和 NIXL 軟件為存儲在 KV 緩存中的 AI 推理令牌提供托管內存空間,該緩存覆蓋 HBM 和 BlueField-4 連接的 SSD。直觀來看,同樣的雙層軟件架構可以擴展到覆蓋 HBM-HBF-BlueField-4 連接的 SSD 的三層結構。 聯網的外部存儲設備將連接到 BlueField-4 SSD 層,并擁有通往 GPU 的清晰路徑,無需經過主機 X86 處理器及其 DRAM。金正浩教授還討論了一款容量為512GB、帶寬為1.638TB/s的HBF單元。該容量相當于2TB(250GB)的3D NAND芯片,例如SK海力士采用其321層三串3D NAND技術制造的芯片。我們只需堆疊兩個這樣的芯片即可制造出一個512GB容量的HBF芯片。這樣的雙層芯片總共包含 642 層 3D NAND,分為六個組件串,并且需要進行制造,使得上層不會使下層變形。
未來,GPU等算力卡將可能形成更明確的訓練和推理分工,進一步降低 AI 推理門檻。同時,HBF的出現,也促使存儲廠商加速技術創新,研發周期從十幾年縮短到 3-5 年。
*聲明:本文系原作者創作。文章內容系其個人觀點,我方轉載僅為分享與討論,不代表我方贊成或認同,如有異議,請聯系后臺。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.