一個(gè)瘋子，造出便宜100倍的AI芯片

25個(gè)人，3000萬美金，兩年半。

做出了一塊碾壓英偉達(dá)旗艦GPU 10倍的芯片。

不是PPT，不是實(shí)驗(yàn)室demo。芯片已經(jīng)量產(chǎn)，API已經(jīng)開放，開發(fā)者現(xiàn)在就能測(cè)。

做這件事的人叫Ljubisa Bajic。兩年前，他放棄了自己一手創(chuàng)辦的、估值32億美金的AI

芯片公司Tenstorrent。AI芯片賽道正火，資本瘋搶，所有人都覺得他瘋了。

但Bajic覺得，真正瘋的是這個(gè)行業(yè)——大家花幾十億美金造芯片，結(jié)果90%的算力都在搬數(shù)據(jù)，不在算數(shù)據(jù)。

他放不下一個(gè)問題：AI推理，為什么非得這么貴？

問題有多本質(zhì)？

你用ChatGPT問一個(gè)問題，背后是什么？是一堆服務(wù)器里的GPU，把一個(gè)幾十GB甚至幾百GB的模型文件，從內(nèi)存里反復(fù)搬運(yùn)到計(jì)算單元，一個(gè)字一個(gè)字地算出來，再傳給你。

這個(gè)過程，每問一次，就搬一次。不是搬一次，是每生成一個(gè)token，都要把所有的模型權(quán)重過一遍。

NVIDIA的GPU賣這么貴，本質(zhì)上是在賣"通用性"——它什么模型都能跑。這種靈活性，代價(jià)是極大的浪費(fèi)。好比你每次做飯，都要把整個(gè)菜市場(chǎng)搬進(jìn)廚房，然后再搬走。

Bajic想的是：如果你只做一道菜，為什么不直接把菜長(zhǎng)在廚房里？

這就是Taalas的起點(diǎn)。

先說說Bajic這個(gè)人

他的履歷，光看都覺得累。在AMD做了十幾年，從工程師一路做到GPU芯片架構(gòu)師，主導(dǎo)過混合CPU-GPU芯片的整體設(shè)計(jì)。后來跳去Nvidia做了一年高級(jí)架構(gòu)師，結(jié)果又被AMD挖回去，當(dāng)了兩年集成電路設(shè)計(jì)總監(jiān)。

AMD、Nvidia、AMD——在兩家芯片巨頭之間來回蹦跶。不是他坐不住，是這個(gè)行業(yè)的頂尖人才就這樣，誰給更大的舞臺(tái)就去誰那兒。

再后來他自己出來創(chuàng)業(yè)，創(chuàng)辦了Tenstorrent——專做AI芯片。公司融了7億美金，估值一路飆到32億。為了補(bǔ)強(qiáng)團(tuán)隊(duì)，他請(qǐng)來了芯片界的傳奇人物Jim Keller先擔(dān)任CTO——這個(gè)人在AMD設(shè)計(jì)過Zen架構(gòu)、在蘋果做過A系列芯片、在特斯拉搞過自動(dòng)駕駛芯片，硅谷芯片圈的活化石。

Keller一開始以CTO身份加入，負(fù)責(zé)技術(shù)方向。但很快，Bajic發(fā)現(xiàn)這個(gè)人不只是能做技術(shù)——他能扛起整個(gè)公司。于是Bajic把他升為CEO，自己退到幕后。2022年秋天，Bajic徹底離開了Tenstorrent。

一手創(chuàng)辦的公司，估值32億，親手交給別人，然后走人。

他停下來想了六個(gè)月，然后做了一個(gè)更瘋的決定。

顛覆80年的基本假設(shè)

2023年，Bajic帶著他的妻子Lejla（AMD/Tenstorrent系統(tǒng)工程老兵，后出任COO），還有老搭檔Drago Ignjatovic（前Tenstorrent硬件VP，出任CTO），三個(gè)人，把這個(gè)想法從零開始做。

他們給這個(gè)方向起了個(gè)霸氣的名字：Hardcore Models.

口號(hào)只有六個(gè)字：The Model is The Computer.

不是模型運(yùn)行在計(jì)算機(jī)上。模型本身，就是那臺(tái)計(jì)算機(jī)。

具體怎么做到的？

具體怎么做到的？Bajic的技術(shù)解釋，我覺得非常有意思。傳統(tǒng)芯片的邏輯是：有一堆計(jì)算單元，有一堆內(nèi)存，需要推理的時(shí)候，把模型權(quán)重從內(nèi)存搬到計(jì)算單元，算完結(jié)果，再吐出來。這中間有一道無形的"墻"——內(nèi)存帶寬墻。

你能算多快，取決于你能搬多快。這道墻，是整個(gè)AI算力行業(yè)幾十年的噩夢(mèng)。Cerebras用一整個(gè)晶圓做計(jì)算，SambaNova和Groq用大量高速SRAM，本質(zhì)都是在想辦法把這道墻打薄。但墻還在。

Taalas的做法，是把這道墻徹底炸掉。

從1945年馮·諾依曼提出計(jì)算機(jī)架構(gòu)至今，有一個(gè)基本假設(shè)從沒變過：存儲(chǔ)是存儲(chǔ)，計(jì)算是計(jì)算，中間靠總線搬數(shù)據(jù)。八十年了，所有芯片都在這個(gè)框架里優(yōu)化。

Bajic說：我不優(yōu)化了，我把這個(gè)架構(gòu)廢了。

存儲(chǔ)和計(jì)算，合為一體。模型參數(shù)直接刻進(jìn)晶體管，晶體管本身既是存儲(chǔ)又是計(jì)算。不需要搬運(yùn)，因?yàn)閿?shù)據(jù)就長(zhǎng)在計(jì)算的地方。

這才是真正瘋的地方——不是做一塊更快的芯片，而是否定了八十年來計(jì)算機(jī)的基本假設(shè)。

他們發(fā)明了一種叫"Mask ROM Recall Fabric"的架構(gòu)——直接把模型權(quán)重，在芯片制造的時(shí)候，固化進(jìn)晶體管里。不是寫進(jìn)內(nèi)存，是刻進(jìn)硅里。

他們用的是70年代手工晶體管級(jí)別的設(shè)計(jì)方法，一行一行地布局，像在手工雕刻。一共申請(qǐng)了14項(xiàng)專利。

結(jié)果

第一代芯片HC1，TSMC 6納米工藝，815平方毫米，530億個(gè)晶體管，功耗200W一張卡。

跑Llama 3.1 8B的推理速度：17,000 tokens/秒（每用戶）

NVIDIA最新的B200（Blackwell架構(gòu)）：大約1,800 tokens/秒

差了將近10倍。成本便宜20倍。功耗低10倍。

而且，因?yàn)樗俣忍欤静恍枰?批處理"。HC1速度太快，每個(gè)用戶的請(qǐng)求直接實(shí)時(shí)響應(yīng)，延遲極低。

低延遲和低成本，原本是一對(duì)矛盾。Taalas說，我兩個(gè)都要。

代價(jià)與解法

你可能會(huì)問：這聽起來太好了，有什么代價(jià)？

有的。

每一個(gè)模型，對(duì)應(yīng)一款專屬芯片。你想跑Llama 3.1，就得用Llama 3.1的HC芯片。

Bajic說：不麻煩。他們和TSMC一起，設(shè)計(jì)了一套"兩層金屬"的快速更新方案——換個(gè)模型，只改芯片里的兩層金屬。從收到新模型的權(quán)重，到可以量產(chǎn)出貨：兩個(gè)月。

定制一塊專屬推理芯片，成本大概是訓(xùn)練成本的百分之一。

這個(gè)賬，算得過來。

更關(guān)鍵的是：模型更新的速度，正在放緩。用戶開始在乎"穩(wěn)定性"多過"新功能"。GPT-4到GPT-4.5到GPT-5，不少企業(yè)用戶反而不急著升級(jí)，因?yàn)橐呀?jīng)跑通的工作流不想被打亂。這種趨勢(shì)，恰恰給了HC芯片更大的生存空間。

25人，$3000萬

Taalas今年2月剛宣布完成$1.69億融資，總?cè)谫Y額達(dá)到$2.19億，投資方包括Fidelity（富達(dá)）。

他們總共只花了$3000萬在研發(fā)上。還有$1.7億在賬上沒動(dòng)。

25個(gè)人，$3000萬，兩年半，做出了一個(gè)跑贏NVIDIA旗艦GPU 10倍的芯片。

這不是在吹牛。他們現(xiàn)在已經(jīng)有公開可用的API（chatjimmy.ai），開發(fā)者可以自己去測(cè)。

我見過太多創(chuàng)業(yè)團(tuán)隊(duì)，動(dòng)不動(dòng)就說要做多大的事，然后花很多錢，很多年，產(chǎn)出一個(gè)平庸的結(jié)果。Taalas這個(gè)數(shù)字，讓我坐直了。

極度焦慮=極度效率

這件事讓我想到一個(gè)更大的問題：資源，到底是優(yōu)勢(shì)，還是束縛？

Taalas走了另一條路：用極度聚焦換來極度效率。

Bajic從AMD到Tenstorrent，再到Taalas，每次都在做減法：

• AMD：做所有人的GPU

• Tenstorrent：做AI時(shí)代的通用芯片

• Taalas：只做一個(gè)模型的最優(yōu)硬件

越聚越窄，越聚越深，越聚越快。

我自己做獵豹的時(shí)候，也經(jīng)歷過類似的階段。做移動(dòng)工具的那幾年，整個(gè)團(tuán)隊(duì)想的就是一件事：如何在手機(jī)清理這件小事上，做到極致？

別人覺得這太窄，沒有未來。但正是這種極致的聚焦，讓我們?cè)谌虺^一億用戶。

Taalas讓我想到，這個(gè)道理在硬科技領(lǐng)域一樣成立——甚至更成立。因?yàn)橛布蒎e(cuò)率更低，極度聚焦，不是退而求其次，而是生存本能。

因?yàn)橛布蒎e(cuò)率更低。你不能"先發(fā)布再迭代"，每次流片都是真金白銀。極度聚焦，不是退而求其次，而是生存本能。

順便說，Taalas的VP of Products，叫Paresh Kharya。

這個(gè)人之前在NVIDIA做了三年數(shù)據(jù)中心業(yè)務(wù)高級(jí)產(chǎn)品負(fù)責(zé)人，然后去Google Cloud管了一段時(shí)間GPU和TPU的整個(gè)硬件產(chǎn)品線。

從NVIDIA和Google的內(nèi)部，主動(dòng)跳槽去一個(gè)25人的初創(chuàng)公司。

這個(gè)選擇，很說明問題。見過最好的，選擇去做可能更顛覆的，這種判斷不輕易發(fā)生。

價(jià)格革命

當(dāng)然，Taalas面前還有很多沒解決的問題。

模型迭代越來越快，兩個(gè)月的交貨周期夠不夠？超大參數(shù)量的模型（數(shù)千億參數(shù)）怎么做，目前HC1只支持80億參數(shù)，HC2年底才出。客戶愿不愿意為"專用芯片"接受靈活性上的限制，這是真實(shí)的商業(yè)挑戰(zhàn)。

這些問題，都不是小問題。

但有一件事我覺得是確定的：AI推理的成本，必然會(huì)被打穿。

DeepSeek從訓(xùn)練端做到了，用更少的算力訓(xùn)練出接近GPT-4水平的模型。

Taalas從推理端做，把同一個(gè)模型的運(yùn)行成本砍掉20倍。

兩條路，同一個(gè)方向——讓AI的使用成本趨近于零。

這不是一個(gè)技術(shù)故事，這是一場(chǎng)價(jià)格革命。

最后說一句話。

Bajic離開Tenstorrent的時(shí)候，所有人都說他瘋了——AI芯片賽道正熱，公司估值$32億，你走什么走？

但他停下來想了六個(gè)月，然后去做一件更瘋的事——否定馮·諾依曼架構(gòu)，把模型直接燒進(jìn)芯片。

現(xiàn)在他們拿著$2.19億，25個(gè)人，從加拿大多倫多出發(fā)，準(zhǔn)備在一個(gè)萬億美元的市場(chǎng)里，打出一道裂縫。

有時(shí)候，瘋子才能看到正常人看不到的路。

這件事的結(jié)局還沒寫完。但開頭，已經(jīng)很精彩了。

Taalas的HC1已經(jīng)可以申請(qǐng)API試用：taalas.com/api-request-form/。如果你在做AI應(yīng)用，不妨去測(cè)一下。17,000 tokens/秒是什么感覺，親眼看看。

關(guān)于EasyClaw

AI推理成本趨近于零的那一天，真正的價(jià)值不在算力，在應(yīng)用。

EasyClaw是我們做的AI Agent平臺(tái)——讓每個(gè)人都能擁有自己的AI助理，7×24小時(shí)幫你處理工作、獲取信息、管理日程。不需要寫代碼，不需要懂技術(shù)，開箱即用。

Taalas讓AI算力便宜100倍，EasyClaw讓AI能力人人可用。

easyclaw.com — 你的第一只龍蝦，在等你。