又一大算力AI芯片發布！比B200快3倍，剛融資24億元

芯東西（公眾號：aichip001）
作者 ZeR0
編輯 漠影

芯東西2月25日報道，2月24日，英特爾宣布向美國AI芯片獨角獸SambaNova的超過3.5億美元（約合人民幣24億元）E輪戰略融資注資，具體金額未披露。

同時，SambaNova推出其第五代AI芯片SN50，號稱這是“唯一一款能夠提供智能體AI所需速度和吞吐量的芯片”，最高速度達同類芯片的5倍，經多芯互連可支持的單模型參數規模達10萬億、上下文長度達1000萬個token。

據SambaNova披露，與Blackwell B200 GPU相比，SN50的最大速度是其5倍，智能體推理的吞吐量是其3倍以上，這在Meta的Llama 3.3 70B等一系列模型上得到充分體現。

據外媒報道，在此之前，英特爾曾討論過以約16億美元（約合人民幣110億元）收購SambaNova，但談判最終破裂。不過雙方均未回應過此事。

SambaNova由多位斯坦福大學教授在2017年創立，在2021年融資后估值達到50億美元（約合人民幣344億元）。其董事長是英特爾CEO陳立武。英特爾曾多次投資SambaNova。

在最新公告中，SambaNova與英特爾宣布達成了一項多年戰略合作計劃，旨在提供高性能、高性價比的AI推理解決方案，打造下一代異構AI數據中心，整合英特爾至強處理器、英特爾GPU、英特爾網絡和存儲及SambaNova系統，以釋放數十億美元的推理市場機遇。

消息公布后，英特爾在美東時間周二股價漲超5%。

一、5倍算力、4倍網絡帶寬，能支撐10萬億參數大模型

SN50芯片基于SambaNova的可重構數據流單元（RDU）架構，超低延遲可提供實時響應，能支持數千個并發AI會話，并通過更高的硬件利用率降低了每個token的成本。

每塊芯片的算力提高到第四代SN40L的5倍，網絡帶寬提高至4倍。

SambaRack SN50將16塊SN50芯片組合在一起，可運行多達10萬億個參數、1000萬個token的超大模型。

互連的SambaRack可通過每秒數TB的互連速度連接多達256塊芯片，從而縮短首次token生成時間，并支持更大的批處理規模，因此可以部署具有更高吞吐量和響應速度的模型。

SambaRack的功耗平均僅需20kW，可在現有的風冷數據中心中運行。這為運行gpt-oss等模型的推理服務提供商帶來了總擁有成本（TCO）優勢，其節能效果是B200 GPU的8倍。

SN50將于2026年下半年開始發貨。軟銀集團將成為首家在日本下一代AI數據中心部署SN50的客戶。

二、基于數據流、三層內存架構，跑大模型時更快更高能效

SambaNova團隊認為，智能體需要智能、預測性和彈性的基礎架構，要實現可行智能體，硬件必須能夠即時適應突發性工作負載，在專家模型之間無延遲切換。

GPU擅長AI模型訓練，但AI推理是數據移動和內存優化方面的挑戰，需要不同的架構方法。

為了執行AI推理，GPU必須多次冗余地調用片外內存，每次內存調用都會增加處理延遲并消耗能量，會導致高功耗問題。

在GPU上部署多個模型的標準方法是將模型加載到高帶寬內存（HBM）中，但GPU HBM資源稀缺且成本高昂。

當工作負載需要一個未加載的模型時，系統必須卸載當前模型并獲取新模型，這個過程通常以秒為單位。即便使用vLLM的1級睡眠模式，喚醒一個小型模型也需要0.1到0.8秒。

對于智能體所需的大型推理模型而言，這種喚醒時間會造成3到6秒的延遲。對于執行涉及5個不同模型的10步推理過程的AI智能體來說，這些延遲累積起來會達到30秒，導致實時智能體工作流程無法使用。

SambaNova的RDU正是為解決這一問題而設計的。

RDU將給定AI模型的計算圖映射到處理器上數據傳輸的最有效路徑。這種方法消除了冗余的內存調用，可顯著降低延遲和功耗。

與受限于單卡HBM容量的GPU不同，SN50 RDU采用獨特的三層內存架構，結合了片上SRAM、海量HBM和超高速SRAM。

這種分層結構使芯片能承載最大的模型，支持在毫秒級時間內運行和切換多個模型。

此外，借助SN50，輸入token可緩存在內存中，從而減少預填充處理時間和請求的首token獲取時間（TTFT）。

結合這些優勢，其內存架構非常適合作為智能體的緩存，能夠更高效地處理任務。

SambaNova還在SambaStack上推出了由RDU支持的可配置模型包，與傳統的GPU架構和vLLM等推理框架相比，這些模型包的切換速度更快。

三、與英特爾聯手，加速推出AI云平臺

作為多年戰略合作的一部分，英特爾計劃對SambaNova進行戰略投資，以加速推出基于英特爾技術的AI云平臺。

此次合作預計將涵蓋三個關鍵領域：

（1）AI云擴展：SambaNova正在擴展其垂直整合的AI云平臺，該平臺基于英特爾至強處理器構建，并針對大語言模型和多模態模型進行了優化。該平臺將提供低延遲、高吞吐量的AI服務，并由參考架構、部署藍圖以及與系統集成商和軟件供應商的合作關系提供支持。

（2）集成AI基礎設施：將SambaNova的系統與英特爾的CPU、加速器和網絡技術相結合，為推理、代碼生成、多模態應用和智能體工作流提供可擴展的、可用于生產的推理能力。

（3）市場推廣執行：通過英特爾的全球企業、云和合作伙伴渠道進行聯合銷售和聯合營銷，以加速AI生態系統的普及。

據英特爾披露，此次合作是對英特爾現有數據中心GPU投入的補充，并不會改變其在AI領域的競爭戰略，英特爾將繼續加大對GPU知識產權、架構、產品、軟件和系統的投資，并強化其從邊緣到云端AI戰略路線圖。

結語：AI推理市場迎來新組合

隨著AI推理蓬勃發展，科技公司們都在尋求更高速度和效率、更低企業級AI部署成本的AI硬件基礎設施方案。

許多云端AI芯片創企都將自家產品的賣點放在了高能效上，既順應AI推理需求旺盛的趨勢，又能避開英偉達強于AI訓練的鋒芒。

通過合作，SambaNova可以借助英特爾的全球影響力擴大其AI處理器的規模，英特爾也增強了在AI推理領域的綜合實力。這將為日趨多元化的AI推理市場提供一個有競爭力的選擇。