AI芯片新貴，瘋狂融資，圍攻英偉達

公眾號記得加星標??，第一時間看推送不會錯過。

這些年的人工智能浪潮，讓英偉達成為當之無愧的大贏家。如圖所示，英偉達的營收屢創新高，公司市值也一度突破五萬億美元。

從很多報道我們看到，英偉達能取得當下的成績，除了得益于公司在GPU上的領先投入外，公司在CUDA和NVLINK上的布局也是公司能夠今天的必不可少的依仗。相關數據顯示，英偉達公司的硬件（特別是其GPU），已經成為人工智能的代名詞。許多最先進的程序都運行在英偉達芯片上——事實上，數量之多，以至于英偉達的市場份額達到了85%。

如此強大的市場控制力，相當于英偉達幾乎壟斷了整個行業，這也吸引了很多英偉達競爭對手拔地而起。尤其是現在隨著推理的崛起，英偉達的競對更是花樣百出。在這里我們列舉一下，

SambaNova卷土重來，發布新芯片

雖然在過去兩年屢經波折，但SambaNova在最近又拿下了一輪融資，并獲得了Intel的加持。

SambaNova周二發布公告稱，公司已籌集 3.5 億美元，用于推進其數據流架構，該公司將其定位為基于 GPU 的 AI 系統的替代方案。

值得一提的是，本次融資的部分資金來自英特爾資本，這打破了芯片巨頭英特爾有意收購SambaNova的傳聞。本輪融資的其他參與者包括Vista Equity、Cambium Capital以及其他幾家風險投資基金，他們預期SambaNova最新一代可重構數據流單元（RDU）上市后將帶來豐厚的回報。

英特爾將與這家初創公司展開一項“多年”合作，旨在為客戶提供生成式人工智能部署中GPU之外的替代方案。這自然意味著SambaNova的新型RDU將采用至強CPU，但除此之外，雙方的合作還將包括軟硬件協同設計。

SambaNova 首席執行官 Rodrigo Liang 表示：“我們的產品非常有競爭力。他們有規模；他們有資金；他們有我們可以合作的客戶。”

英特爾不僅在生成式人工智能領域落后于時代——可以說，這家巨頭在數據中心 GPU 和 Gaudi 產品線屢次失誤后，已經完全錯失了良機。

英特爾數據中心集團執行副總裁凱沃爾克·凱奇奇安在一份聲明中表示：“隨著我們從邊緣到云端不斷發展和擴展人工智能應用，我們正在通過多種方式滿足這些需求，以保持我們在生態系統中的關鍵地位，并保護和擴大市場份額。”

SambaNova 同時還披露，公司將于今年晚些時候交付其新一代加速器 SN50，日本軟銀集團已簽約成為該初創公司的首批客戶之一。

據SambaNova 稱， SN50的速度是 Nvidia Blackwell 的五倍，吞吐量是后者的三倍，足以運行參數超過 10 萬億的智能體 AI 模型。

與 SN40 類似，SN50 也采用了分層內存架構，結合了 64GB 高帶寬內存 (HBM)、432MB 靜態隨機存取內存 (SRAM) 以及 256GB 至 2TB 的 DDR5 內存。SambaNova 表示，這種內存架構使其能夠承載規模最大的 AI 模型，包括參數量高達 10 萬億的模型。該公司在今天發布的一篇博文中寫道：“駐留在 HBM 和 SRAM 中的模型可以在幾毫秒內進行熱插拔，這對于需要在多個模型之間頻繁切換的智能體工作負載至關重要。 ”

SambaNova 表示，SN50 的單次加速器計算能力是 SN40 的五倍，網絡帶寬是 SN40 的四倍。該公司還表示，內部基準測試表明，與 Nvidia 的 Blackwell B200 GPU 相比，SN50 的最大速度是其五倍，在 Meta 的 Llama 3.3 70B 等模型上運行的智能推理工作負載的吞吐量是其三倍以上。

SambaNova 以預配置機架（稱為 SambaRack）的形式銷售其芯片，每個機架最多可容納 16 個獨立的 SN50 芯片。該公司支持 SambaRack 的擴展能力，可支持最多 256 個 SN50 芯片組成的集群，這些芯片通過每秒數 TB 的互連鏈路連接。每個 SambaRack 的平均功耗為 20 kW，因此可以使用風冷而非液冷。

SambaNova及其芯片的目標應用是人工智能推理工作負載，SN50也不例外。該公司表示，SN50能夠將輸入tokens緩存到內存中，從而縮短了相對于主流GPU架構的首次令牌響應時間（TTFT）。此外，SN50還能在內存中存儲多個AI模型，并以遠低于Nvidia GPU所需的時間進行交換。

SambaNova聯合創始人兼首席執行官梁羅德里戈在一份新聞稿中表示：“人工智能不再是構建最大模型的競賽。憑借SN50以及我們與英特爾的深度合作，真正的競爭在于誰能用即時響應、永不卡頓的AI代理點亮整個數據中心，并且成本能夠將人工智能從一項實驗轉變為云端最賺錢的引擎。”

歐洲AI芯片公司，不甘人后

在同一日，歐洲人工智能芯片初創公司Axelera AI成功完成2.5億美元的新一輪融資，這是迄今為止歐洲人工智能芯片制造公司獲得的最大一筆投資之一。根據周二發布的公告，本輪融資由Innovation Industries領投，知名新投資者貝萊德（BlackRock）和SiteGround Capital也參與其中。這筆巨額資金注入凸顯了投資者對歐洲人工智能芯片研發日益增長的信心，歐洲正努力在競爭激烈的半導體行業中占據一席之地。

Axelera AI是歐洲少數幾家專注于開發人工智能專用半導體技術的公司之一。該公司總部位于荷蘭埃因霍溫，致力于打造節能高效的工業應用推理芯片。這些專用處理器旨在運行人工智能模型，而非訓練模型，從而滿足更廣泛的人工智能生態系統中特定細分市場的需求。

該公司專注于推理芯片，使其在不斷增長的市場中占據戰略優勢，該市場要求企業提供經濟高效的解決方案，以便在生產環境中部署人工智能模型。然而，與主導全球半導體市場的美國和亞洲競爭對手相比，歐洲人工智能芯片市場規模仍然小得多。

自2021年成立以來，Axelera AI展現了持續的融資能力，迄今已累計融資超過4.5億美元。最新一輪融資吸引了新老投資者的參與，體現了市場對該公司技術和市場策略的持續信心。

此前參與此輪融資的投資方包括Bitfury、Verve Investments、三星電子的Catalyst基金以及歐洲創新理事會基金。此外，比利時和荷蘭政府支持的基金也參與了投資，凸顯了歐洲各國對發展本土半導體能力的戰略重視。

Axelera AI 的旗艦產品是一款名為 Metis 的人工智能芯片，其每秒可執行 214 萬億次計算。該處理器通常功耗約為 10 瓦，因此非常適合用于電池供電的聯網設備。例如，倉庫機器人可以使用嵌入式 Metis 處理器來運行人工智能導航軟件。

Metis 采用 Axelera AI 稱之為數字內存計算（簡稱 D-IMC）的架構。它通過限制芯片內部的數據傳輸來降低功耗。

人工智能處理器通常使用兩組不同的電路來存儲和處理數據。在處理過程中，數據需要定期在這些電路之間進行交換，這會消耗電力。Axelera AI 的 D-IMC 架構采用高速存儲器 SRAM，在同一位置存儲和處理信息。這減少了芯片不同部分之間數據傳輸的需求，從而降低了功耗。

D-IMC 將 SRAM 模塊排列成一種稱為交叉陣列的配置。這種陣列可以對向量和矩陣進行計算，向量和矩陣是 AI 模型使用的兩種基本數據單元。向量是一行數字，而矩陣由多行數字組成。

Axelera AI聯合創始人兼首席執行官Fabrizio Del Maffeo表示：“數據中心正面臨電力和冷卻方面的極限，隨著分析越來越靠近數據產生的地方，邊緣AI解決方案必須在嚴格的能源和帶寬限制下運行。我們從零開始設計架構，就是為了克服這些障礙。”

Axelera AI 將 Metis 作為兩款加速卡的一部分進行銷售，客戶可將其連接到自己的聯網設備。第一款加速卡包含最多四個芯片，并通過 PCIe 端口連接到主機系統。另一款加速卡則包含一個 Metis 單元，并采用 M.2 接口。M.2 接口是一種節省空間的 PCIe 替代方案，常用于低功耗設備。

企業可以使用名為 Voyager SDK 的軟件工具包在 Metis 芯片上運行 AI 模型。該工具包依賴于名為 Apache TVM 的開源工具來優化客戶針對該芯片的算法。此外，Axelera AI 還提供了一個名為 Model Zoo 的預封裝 AI 模型集合。

該公司目前正在研發第二代芯片 Europa。它的運算速度高達每秒 629 萬億次，是 Metis 的兩倍多。該芯片包含 8 個 AI 優化核心、16 個中央處理器核心和 128 兆字節的內存。

Axelera AI 表示，Europa 芯片的每瓦性能可達同類產品的三倍。該公司稱，該芯片尤其適用于運行計算機視覺模型。Axelera AI 的內部測試表明，其每秒可處理超過 13,168 幀的圖像。

谷歌TPU老兵，組團對抗英偉達

由兩位前谷歌芯片工程師創立的MatX也在今天宣布：已籌集超過 5 億美元的新資金，用于開發旨在與NVIDIA 直接競爭的硬件。

據彭博社報道，本輪融資由Jane Street和 Situational Awareness 領投，后者是由前OpenAI研究員 Leopold Aschenbrenner創立的投資公司。其他投資者包括 Marvell Technology、風險投資公司 NFDG 和 Spark Capital，以及 Stripe 的聯合創始人 Patrick Collison 和 John Collison。

這筆新的資金將使這家初創公司能夠獲得生產空間并獲得重要零部件，特別是目前半導體行業短缺的存儲器。

資料顯示，MatX 由Reiner Pope和Mike Gunter創立，兩人都曾就職于谷歌半導體部門。他們于 2022 年離開谷歌，目標明確：設計一款專為大型語言模型打造的芯片，而大型語言模型正是當今人工智能聊天機器人背后的技術。

“這讓我們能夠與那些規模龐大的公司在相對公平的平臺上競爭，因為它們可以迅速擴張，”Gunter說。“這一輪融資讓我們幾乎與那些擁有巨額資金的公司站在了同一起跑線上。”

MatX是眾多試圖搶占人工智能芯片市場份額的初創公司之一，該市場長期以來一直由英偉達的圖形處理器主導。MatX專門為頂級人工智能模型設計硬件，專注于最大限度地提高大規模應用的性能。

這家初創公司計劃在今年晚些時候推出其首款芯片——一款名為 MatX One 的 LLM 優化加速器。雖然像 Groq、dMatrix 和 SambaNova 這樣的許多人工智能初創公司都將推理作為重點，但 Matx 表示其芯片將涵蓋所有功能：預訓練、強化學習以及推理預填充和解碼。

除此之外，關于這款芯片的具體細節仍然很少。該公司宣稱，該芯片的分離式脈動陣列將提供最高的“每平方毫米浮點運算性能”，并可擴展至“數十萬個芯片”。

他們的技術提供了十倍的計算能力，使人工智能實驗室能夠顯著提升模型性能。這套硬件可以訓練像 GPT-4 這樣的高級模型，并運行像 ChatGPT 這樣的應用程序，即使是小型初創公司也能輕松使用。

說到規模，如果該公司想將最新的 LLM 集成到 SRAM 中，肯定需要大量的硅片。

與AMD或Nvidia使用的HBM相比，SRAM的速度要快幾個數量級。MatX預計其首款芯片能夠以每秒超過2000個tokens的速度處理包含100層專家模型的大型混合模型。

SRAM的缺點是空間利用率不高。目前最大的芯片也只能容納幾百兆字節的SRAM數據，而且還要留出計算空間。

據他們在官網所說，MatX One 芯片基于可分割的脈動陣列，它兼具大型脈動陣列聞名遐邇的能效和面積效率，同時在具有靈活形狀的小型矩陣上也能實現高利用率。該芯片融合了 SRAM 優先設計的低延遲和 HBM 的長上下文支持。這些特性，加上對數值計算的全新詮釋，使得其在 LLM 上的吞吐量高于任何已發布的系統，同時延遲與 SRAM 優先設計相當。更高的吞吐量和更低的延遲，讓您以更少的訂閱費用獲得更智能、更快速的模型。

MatX并非首家采用這種策略的公司。Cerebras通過制造晶圓級芯片繞過了這一限制，而Groq則通過數量取勝：想要運行更大的模型？只需增加（數百個）芯片即可。MatX似乎也借鑒了同樣的策略。

然而，與 Groq 或 Cerebras 不同，MatX 也將使用 HBM——只是盡可能避免用它來存儲模型權重。MatX 表示，HBM 將用于存儲模型的鍵值 (KV) cache，用于跟蹤模型在不同會話中的狀態。（您可以將 KV cache理解為模型的短期記憶。）

MatX認為，通過這種方式將SRAM和HBM結合起來，其芯片將能夠同時實現GPU的強大吞吐量和基于SRAM的設計的速度。現在，他們有了更多資金來驗證這一想法。

將模型“刻”進芯片，Taalas橫空出世

在最近融資的AI芯片初創公司中，Taalas無疑是其中最獨特的一個。

總部位于多倫多的芯片初創公司 Taalas 上周表示，該公司已籌集了 1.69 億美元，并開發出一種芯片，能夠比傳統方法更快、更便宜地運行人工智能應用程序。Taalas 已從 Quiet Capital、Fidelity 和芯片行業風險投資家 Pierre Lamond 等投資者那里籌集了總計 2.19 億美元的資金。

Taalas成立兩年半，已完成三輪風險投資，融資總額超過2億美元。公司總部位于多倫多，這里是人工智能研究的熱點地區之一，也是芯片技術人才的聚集地，包括Tenstorrent——Taalas的三位創始人均曾在此工作。Ljubisa Bajic是Taalas的聯合創始人兼首席執行官，他同時也是Tenstorrent的創始人，廣為人知。

眾所周知，為了大幅提升 AI 推理能力，我們可以將大塊 SRAM 添加到 AI 張量引擎集合中，或者更好的是，添加到晶圓級的此類引擎集合中，AI 初創公司 Cerebras Systems、SambaNova Systems、Groq（剛剛被英偉達以 200 億美元收購）和 Graphcore（一年半前被軟銀以 6 億美元收購）在與英偉達和 AMD 的 GPU 進行比較時，已經一次又一次地證明了這一點。

但Taalas認為，如果你真的想突破人工智能推理的極限，那么應該做的就是停止瞎折騰，將完成的人工智能推理的權重直接編碼到芯片的晶體管中，并擺脫所有試圖使計算引擎可塑性強，以便公司可以不斷調整和優化其模型而產生的軟件冗余。

通過這樣做，還可以從根本上簡化 AI 設備的架構，并且像 Taalas 所做的那樣，可以消除困擾所有串行和并行計算引擎的計算和內存之間的壁壘——尤其是那些不得不求助于 HBM 堆疊 DRAM 以獲得與其浮點和整數性能相稱的帶寬的 GPU 和 AI XPU。

目前，Taalas 對其硬編碼推理架構的具體運作機制仍秘而不宣，但 Bajic 和 Kharya 為我簡要概述了其工作原理。不過在此之前，Kharya 和我們一樣都是歷史愛好者，他展示了一張有趣的圖片，完美詮釋了“一切照舊”的道理。請看：

左上角是 1961 年 IBM 7030 Stretch 超級計算機的晶體管計算框架之間相互連接的大量銅纜，右下角是 1946 年 ENIAC 真空管超級計算機的機架，它最終催生了 Sperry Rand 計算機業務（現為 Unisys 的一部分）。

笑點在于，我們以前用的是巨型銅纜，每個機架要150千瓦的功率，而隨著GPU和XPU的發展，我們又回到了未來。

那么，硬編碼推理芯片究竟是什么，它是如何工作的呢？

Kharya是這樣解釋的：

“我們基本上采用了一種嵌入式架構，將模型和權重硬編碼到我們稱之為掩模ROM調用架構的結構中，該架構與SRAM調用架構配合使用。它們共同能夠存儲模型并執行KVcache的所有計算。我們提供適配器和定制方案——我們支持所有這些。這種設計使我們能夠在計算和存儲方面實現超高密度，并且我們可以在該存儲上進行極快的計算，這正是提高密度和降低成本的關鍵所在。”

“在當前一代產品中，我們芯片硬連線部分的參數密度為 80 億，再加上 SRAM，使我們能夠實現鍵值緩存、微調等自適應功能。在下一代產品中，我們能夠在一個芯片上實現高達 200 億個參數。即使參數數量達到數萬億，我們也只需要幾十個芯片，這與目前市場上任何其他產品相比，都是一個非常非常小的規模。”

Bajic沒有具體說明建筑結構——Taalas 希望它目前保持某種程度的神秘感——他補充道：

“我們有一個用于掩模ROM調用結構的方案——也就是硬連線部分——我們可以用一個晶體管存儲四個比特，并完成與之相關的乘法運算——所有操作都用一個晶體管完成。所以密度簡直高得驚人。這可不是什么核物理——它是完全數字化的。這只是一個我們不想公開的巧妙技巧。但是一旦你把所有東西都硬連線，你就有機會以與處理可變數據截然不同的方式進行數據填充。重要的是，我們可以在一個晶體管中設置權重并完成與之相關的乘法運算。你知道，乘法器是計算機的核心部件。”

“我們發明的東西其實并不難。只是因為沒人走過這條路，所以才顯得很巧妙。兩年前，我們開始著手解決這個問題，目標是徹底打破內存和計算之間的壁壘。這就是一切的起源。當時，我們想到的第一個方法——也是我們當時唯一能想到的、能在可預測的時間內推出產品的辦法，因為我們不想成為只會鉆研三年卻搞出個半成品的科研教授——就是迅速轉向基于ROM（只讀存儲器）的方法。我們開始深入研究，然后發現這實際上比我們想象的還要好。”

“實際上，所有這些東西都是我們內部從零開始設計的。我們沒有使用任何現成的產品，我們做了很多晶體管級別的設計、手工布局——基本上，我們所有的努力最終都回到了20世紀70年代。”

從一些報道可以看到，Taalas提供了一款名為 HC1的 AI 加速器，它采用硬件硬連線（即在硬件中實現）Llama-3.1 8B 模型，AI 性能接近 17,000 個tokens/秒，優于 NVIDIA B200 或 Cerebras 芯片等數據中心加速器。該芯片采用臺積電 (TSMC) 的 6nm 工藝制造，面積為 815mm2，包含 530 億個晶體管。

據Bajic稱，HC1卡的功耗約為200瓦，而一臺配備十張HC1卡的雙路X86服務器的功耗則高達2500瓦。

順便一提，由于 HC1 卡速度極快，無需批量處理查詢即可實現低延遲推理，這意味著 Taalas 設備的帶寬壓力很低。低到即使將多張卡并聯運行更大的模型，PCI-Express 總線也完全夠用。Taalas 將在今年晚些時候允許客戶使用流水線并行技術將工作負載分配到多張 HC 卡上。事實上，到今年夏天，Taalas 將推出一款硬編碼到 HC 芯片中的 Llama 3.1 模型，該模型包含 200 億個參數。

Taalas HC1 的速度比 Cerebras 芯片快約 10 倍，制造成本低 20 倍，功耗也低 10 倍。其主要缺點是只能使用硬件中硬編碼的模型，目前是 Llama-3.1 8B，不過據稱它“通過可配置的上下文窗口大小和對低秩適配器 (LoRA) 微調的支持，保留了一定的靈活性”。

到今年年底，Taalas 將推出一款前沿的大型語言模型——可能是 Llama，也可能是 DeepSeek，或者兩者兼而有之——該模型將在多張 HC 卡上運行推理。這種架構將被命名為 HC2。

從SambaNova的數據流架構，到Axelera AI的存內計算，再到MatX的SRAM+HBM組合，以及Taalas將模型直接“刻進芯片”的極端路線，可以看到，AI芯片的競爭已經進入了真正的百花齊放階段。

英偉達依然強大，但行業已經不再滿足于單一GPU范式。推理時代的到來，正在打開新的窗口——新的架構、新的內存體系、新的系統設計，正在不斷挑戰傳統計算模式。

今天這些瘋狂融資的公司，未必都能活下來，但其中很可能會誕生下一代計算架構的奠基者。

正如當年的GPU并不是一開始就統治AI時代一樣，未來十年的算力格局，也未必只屬于英偉達。

AI芯片雖然經歷了幾輪的洗禮，但新的戰爭，也才剛剛開始。

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯系半導體行業觀察。

今天是《半導體行業觀察》為您分享的第4328期內容，歡迎關注。

加星標??第一時間看推送

求推薦