24人團(tuán)隊(duì)硬剛英偉達(dá)！AMD前高管夢(mèng)之隊(duì)出手，新芯片每秒17000個(gè)token

造芯片的還有高手？

剛剛推出的一款最新芯片，直接沖上硅谷熱榜。

峰值推理速度高達(dá)每秒17000個(gè)token。

什么概念呢？當(dāng)前公認(rèn)最強(qiáng)的Cerebras，速度約為2000 token/s。

速度直接快10倍，同時(shí)成本驟減20倍、功耗降低10倍。

這就意味著，LLM真正來到了亞毫秒級(jí)的即時(shí)響應(yīng)速度。實(shí)機(jī)效果be like：

但這塊一夜之間刷屏硅谷的芯片，并非出自英偉達(dá)、AMD之手，而是一家成立僅兩年、團(tuán)隊(duì)僅有24人的初創(chuàng)公司——Taalas。

芯片代號(hào)HC1，也是公司的首款產(chǎn)品。

不同于所有競(jìng)爭(zhēng)對(duì)手，Taalas選擇了迄今為止最極端的技術(shù)方案——

模型不再加載到內(nèi)存里，而是直接刻在硅片上。換言之，芯片即模型。

結(jié)果顯而易見，Taalas撬動(dòng)了芯片算力護(hù)城河：H100買不到，試試HC1又何妨？

速度快10倍，功耗降至10分之一

HC1目前搭載Llama 3.1 8B模型，用戶每秒最高可生成17000 token/s，遠(yuǎn)高于主流GPU/ASIC。

其中，在同一模型下Cerebras接近每秒2000個(gè)token，SambaNova約為每秒900個(gè)token，Groq約為每秒600個(gè)，英偉達(dá)Blackwell架構(gòu)的B200為每秒350個(gè)。

具體來說，HC1采用臺(tái)積電N6工藝，面積為815mm2，體積小巧而且開源，單顆芯片即可滿足8B模型需求。

每顆芯片典型功耗僅為250W，一個(gè)服務(wù)器如果同時(shí)裝配10顆HC1，功耗也才2.5kW，可以直接使用常規(guī)空氣冷卻機(jī)架部署。

那么是如何做到這么大的性能飛躍的呢？

首先HC1借鑒了2000年代初期的結(jié)構(gòu)化ASIC芯片理念。結(jié)構(gòu)化ASIC芯片采用門陣列和固化IP，然后僅通過改變互連層就能使芯片適應(yīng)特定的工作負(fù)載。

這樣下來，結(jié)構(gòu)化ASIC芯片不僅比全定制ASIC更便宜，也比FPGA性能更優(yōu)。

HC1則采用類似思路，不改變底層電路，只通過調(diào)整兩層掩模，就能低成本快速做出專用AI推理芯片。

它放棄了大多數(shù)可編程功能，將模型連同權(quán)重一起通過基于掩模ROM的調(diào)用架構(gòu)存儲(chǔ)在芯片上，并保留一個(gè)可編程SRAM，用于保存微調(diào)后的權(quán)重（如LoRA）和KV緩存。其余則全部通過掩模ROM固化執(zhí)行。

這一策略能在設(shè)計(jì)成本相對(duì)可控的前提下，實(shí)現(xiàn)模型到芯片的快速轉(zhuǎn)化，將芯片生產(chǎn)周期從原先的六個(gè)月縮短到兩個(gè)月。

而如此激進(jìn)的量化方式勢(shì)必會(huì)影響性能，研究團(tuán)隊(duì)也意識(shí)到了這一點(diǎn)，所以可以通過LaRA適配器進(jìn)行重新訓(xùn)練，以及可配置的上下文窗口，讓芯片的最低限度靈活性得以保留。

換句話說，就是將一個(gè)完整大模型通過物理硬連線進(jìn)芯片中，省去了傳統(tǒng)存算分離的成本，用靈活性換取極致的速度和效率。

除了Llama 3.1，Taalas也嘗試將其它模型集成到HC1上，例如對(duì)DeepSeekR1-671B的多芯片解決方案。

將SRAM部分拆分到單獨(dú)的芯片上，然后可以將每片HC1的存儲(chǔ)密度提高到約20位參數(shù)，總計(jì)需要30個(gè)定制HC1。

整體處理速度可達(dá)到每用戶每秒12000個(gè)token，如果考慮到30顆芯片成本為每百萬token是7.6美分，那么該方案成本也不到同等吞吐量的GPU方案的一半。

假設(shè)GPU更新周期為四年，而HC1每年都需要重新更換，總成本也仍然具備優(yōu)勢(shì)。

AMD前高管夢(mèng)之隊(duì)

其背后的公司Taalas成立于兩年前，由AMD前集成電路設(shè)計(jì)總監(jiān)Ljubi?a Baji?、AMD/ATI/Altera前技術(shù)經(jīng)理和工程師Leila Baji?、AMD前ASIC設(shè)計(jì)總監(jiān)Drago Ignjatovi?共同創(chuàng)立，堪稱AMD前高管夢(mèng)之隊(duì)。

其中，Ljubi?a Baji?不僅曾在AMD和英偉達(dá)擔(dān)任高級(jí)職位，負(fù)責(zé)高性能GPU研發(fā)設(shè)計(jì)，還是Tenstorrent的創(chuàng)始人兼首任CEO。

新公司致力于開發(fā)專為AI推理和訓(xùn)練設(shè)計(jì)的全新架構(gòu)，強(qiáng)調(diào)分層設(shè)計(jì)和晶格網(wǎng)絡(luò)，能夠讓芯片像大腦一樣根據(jù)任務(wù)需求動(dòng)態(tài)處理數(shù)據(jù)。

在2020年，芯片教父Jim Keller也強(qiáng)勢(shì)加入Tenstorrent，并接任CEO一職，而Ljubi?a Baji?轉(zhuǎn)任首席技術(shù)官CTO，專注于產(chǎn)品研發(fā)。

隨后，他又創(chuàng)立了Taalas，試圖通過類似硅基編譯器的方式，直接將AI模型轉(zhuǎn)化為硅芯片。

于是首戰(zhàn)告捷，一個(gè)僅有24名成員的團(tuán)隊(duì)，產(chǎn)品投入僅3000萬美元，就創(chuàng)造出比通用AI芯片高出幾個(gè)數(shù)量級(jí)的能效比。

目前Taalas已籌集2億美元投資，預(yù)計(jì)將在春季基于HC1發(fā)布第二代變體，將集成一款中等規(guī)模的推理大模型。

隨后預(yù)計(jì)將在冬季部署上線HC2，HC2密度更高、運(yùn)行速度也會(huì)更快。

不過對(duì)于HC1，網(wǎng)友們的評(píng)價(jià)卻是兩極分化。

一方面，網(wǎng)友認(rèn)為HC1的超低延遲將有益于推動(dòng)具身智能等領(lǐng)域發(fā)展。

另一方面，也有網(wǎng)友實(shí)測(cè)過后發(fā)現(xiàn)，HC1高速推理的背后，卻是糟糕的推理深度：

以及對(duì)于迭代周期相當(dāng)迅速的大模型來說，HC1的硬編碼可能會(huì)使芯片很容易過時(shí)。

這也是為什么當(dāng)前芯片廠商都在普遍推出通用型芯片的原因之一。

參考鏈接：
[1]https://x.com/wildmindai/status/2024810128487096357?s=20
[2]https://taalas.com/the-path-to-ubiquitous-ai/
[3]https://chatjimmy.ai/
[4]https://www.eetimes.com/taalas-specializes-to-extremes-for-extraordinary-token-speed

文章來源：量子位。