
![]()
英偉達怒花 200 億美元,買下了一家和自個路線完全相反的公司?
事情是這樣的,上周,領(lǐng)投 Groq 的 Disruptive CEO 放出了消息,老黃準(zhǔn)備吞掉自己的潛在競爭對手,同為芯片制造商的 Groq。
而這個英偉達史上最大收購案,立刻在科技圈掀起了不小的波瀾。
![]()
大伙兒有說英偉達加強壟斷的,有分析 Groq 技術(shù)優(yōu)勢的,不過討論最多的,還是老黃真被前一陣子谷歌的 TPU 給刺激到了。。。
雖然說起 Groq,各位差友應(yīng)該都比較陌生。如果你覺得聽說過,那大概率是跟馬斯克家的 grok 搞混了。
但這家 2016 年創(chuàng)立的公司,來頭可不小。它今年的估值已經(jīng)達到了 70 億美元以上,創(chuàng)始人正是谷歌第一代 TPU 的設(shè)計師 Jonathan Ross。
![]()
Groq 的核心產(chǎn)品也很有意思,是一種叫 LPU( Language Processing Unit,語言處理單元 )的新型專用芯片,和 谷歌搞 AI 計算的專用芯片 TPU 放一塊兒,確實有點宛宛類卿那意思。
LPU 同樣拋棄了 GPU 的通用性,專門為加速 AI 計算而生。
![]()
從名字上也看得出來,它甚至還要更專精一點,純純是針對語言模型設(shè)計的。
![]()
然而,它又是個大大的異類。因為 LPU 沒有 HBM,也就是沒有大伙兒常說的顯存。
一般來講,模型訓(xùn)練和推理,怎么也得來一個顯存。比如咱們要玩?zhèn)€啥模型,看見說明書里寫著,最低配置 3090,潛臺詞就是顯存沒到 24G,模型跑不起來。
![]()
畢竟大模型每計算一步,都得從存儲容器里把參數(shù)取到計算核心,算完了再放回去。而顯存是模型參數(shù)最理想的集散中心,它離計算核心近,容量較大,參數(shù)來來回回搬運非常快。
要是沒有顯存,參數(shù)存到硬盤里,咱就等吧,模型立刻開爬,算一個字兒都得憋半天。
即使是 TPU,后來為了兼?zhèn)淠P陀?xùn)練,也乖乖添加了顯存模塊。
![]()
但 Jonathan Ross 不忘初心,LPU 承接第一代 TPU 的概念,只搞模型推理,完全不加顯存。
可沒有顯存,模型的參數(shù)能存放在哪呢?
LPU 盯上了一個離計算核心更近的存儲單元 —— SRAM。問題是,受到晶體管的物理體積限制,它的存儲容量極小,每張卡只有幾十到幾百 MB,根本裝不下模型所有參數(shù)。
所以,Groq 直接暴力組裝千卡萬卡集群,每張卡上只存模型的一小部分,也只算這一小部分,最后合體輸出。

通過這種方式,LPU 的數(shù)據(jù)存取速度能達到 GPU 的 20 倍以上,模型推理快到飛起。
靠著奇特但有效的技術(shù)路線,Groq 迅速圈了一波粉。在他們擺在首頁中央的一張統(tǒng)計圖上,模型推理業(yè)務(wù)已經(jīng)壓了亞馬遜一頭,僅次于微軟了。
![]()
其實早在一年前,就有不少人覺得 Groq LPU 要對英偉達 GPU 來個大沖擊,把 LPU 和 GPU 拎出來反復(fù)摩擦做比較。
畢竟在當(dāng)時英偉達 GPU 一家獨大的時候,Groq 能比行業(yè)龍頭推理速度再快 10 倍,簡直像天神下凡。
![]()
當(dāng)然,有人看好,就有人看衰。
像是前阿里副總裁賈揚清就做過一個粗略的測算,用 LPU 運營三年,它的采購成本是英偉達 H100 的 38 倍,運營成本則達到 10 倍,意思是 LPU 想替代 GPU,還差得遠呢。
![]()
現(xiàn)在好嘛,不用比了。英偉達:我全都要。
但英偉達的 “ 收購 ”,可不是拋出 200 億美元,Groq 就歸我了。作為一個已經(jīng)不可能悶聲發(fā)大財?shù)木揞^,壟斷變成了懸在英偉達脖子上的一把大刀。
他們用了一種這幾年在硅谷屢見不鮮的剝殼式收購,把 Groq 直接挖空了。
像是微軟合并 Inflection AI,亞馬遜高走 Adept 等等,都是把技術(shù)挖走了,核心人才挖沒了,留下個空殼公司,普通員工一點湯也喝不著。
![]()
因此,剝殼式收購當(dāng)屬最招罵的一種,沒有之一。
所以明面上,英偉達并沒有承認(rèn)收購 Groq,而是和他們簽署了一份非獨家許可協(xié)議,授權(quán) NVIDIA 使用 Groq 的推理技術(shù)。
![]()
意思就是,這技術(shù)你也能用,我也能用,賣藝不賣身嗷。
實際呢,Groq 的核心技術(shù)給英偉達了,Groq 的首席執(zhí)行官 Jonathan Ross、總裁 Sunny Madra、以及幾位專注于超高效 AI 推理芯片的核心工程師,也都被英偉達以雇傭的形式搞到手了。
但說到底,英偉達這次寧可背著罵名,冒著壟斷調(diào)查的風(fēng)險,也要把 Groq 打包帶走,其實預(yù)示了 AI 行業(yè)的一個大趨勢:大煉模型的時代還在延續(xù),但模型推理部署的長尾效應(yīng),讓模型推理的需求會逐漸超過模型訓(xùn)練。
![]()
彭博社今年四月發(fā)表的一篇報道就表示,目前,訓(xùn)練成本占大型云計算公司數(shù)據(jù)中心支出的 60% 之多,但分析師預(yù)計,到 2032 年,這一比例將降至 20% 左右。
以前大伙兒不計成本買 H100 是為了把模型訓(xùn)出來,但現(xiàn)在,像 Groq 這樣主打又快又省的推理芯片,可能才是大廠們以后爭搶的核心。
可以說,英偉達通過這次曲線收購,補齊了自己在非 HBM 架構(gòu)上的最后一塊短板。
這不僅是老黃對谷歌 TPU 路線的一次遲到致敬,也是在表明,無論是模型的訓(xùn)練,還是模型的推理,所有的算力稅,大胃袋的英偉達,還是一分都不想放過。
撰文:莫莫莫甜甜
編輯:江江 & 面線
美編:萱萱
圖片、資料來源:
Groq 官網(wǎng)、NVIDIA 官網(wǎng)
CNBC、DEV、Techspot、Bloomberg、X、Reddit、Github
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.