ChatGPT3周年，TPU改變了AI競爭，正在從模型轉向基礎設施

最近谷歌用其TPU基礎設施，訓練出了最強大模型Gemini 3，在ChatGPT橫空出世3周年之際，這一事件。它意味著，用英偉達GPU在微軟Azure上訓練出來的GPT系列最前沿大模型的范式，正在被打破；而且，大模型、云和AI芯片，是在谷歌內部渾然一體的。

這一事件，足以影響對整個AI競爭格局的判斷。我們知道，三年前ChatGPT發布之時，第一個最大的受益者是微軟，它的股價暴漲，市值達到全球第一。接著是英偉達，它憑借GPU和CUDA稅，股價一路上揚，成為5萬億美元的公司。第三家就是OpenAI，它的估值也超過了5000億美元，成為史上最有價值的非上市企業。

但這一切，正在被TPU改變。當谷歌上揚時，壓力傳遞到英偉達、微軟、以及大量接受英偉達投資并采購GPU的其他企業，如甲骨文和其他新云企業。對OpenAI的直接影響，是市場上普遍開始更看好TPU+Gemini在性能和成本上的長期競爭優勢 ，要勝過OpenAI。而OpenAI在其，在Gemini的壓力之下，其商業可行性和可持續性，也受到市場的質疑。

不是AI恐懼，而是OpenAI恐懼

難怪谷歌垂直整合的AI，其長期價值受到了，最近大舉入股，是其一生之中除蘋果之外，投資的第二家科技企業，也是唯一一家AI企業。

ChatGPT3周年，更值得看的是谷歌過去的3年。它經歷了2023年的危機，即GPT-4超過了谷歌在AI領域的優勢，微軟等企業將用AI搜索顛覆谷歌的壟斷地位，以及Llama開放權重模型推出時，谷歌內部驚呼“沒有護城河”。到了2024年，谷歌開始真正反擊，除了推出原生多模態的Gemini大模型之外，它的基礎設施也引起了我們的關注。

Gemini與TPU的協同，正是谷歌AI王者歸來的核心。可以說，真正奠定谷歌戰略反攻的，一個是合并DeepMind和谷歌大腦，由哈薩比斯擔任谷歌DeepMind CEO，廢除Bard等模型，集全谷歌AI人才死磕Gemini；第二個就是TPU的迭代升級的強大支撐。它們的對手，相當于OpenAI+英偉達+微軟。

2023年底，谷歌發布Gemini，同步發布了TPUv5p，此時已經可以建立起幾萬張卡的推理集群，但訓練主還是依靠英偉達的H100/200。

Gemini 發布的喧囂中，值得注意的是谷歌云發布了TPUv5p，訓練大模型每刀效率提升2倍以上。不管Gemini是否碾壓了GPT-4，但有一點是肯定的，谷歌擁有比微軟更強大的大模型訓練和推理平臺。 而且谷歌將使用TPU進行推理，因此不必像OpenAI和微軟那樣支付給NVIDIA 70%的利潤（直到他們的芯片準備好并投入生產）。 ——

2024年底，谷歌發布Gemini 2，正式宣布完成對OpenAI的追趕。此時，谷歌除了宣布競爭的重心，將從深度學習進入到發揮其強化學習優勢的智能體之外，代號為Trillium的第六代TPU，是真正的幕后功臣。

當時谷歌專為Gemini 2 推出了Trillium即TPUv6，并且建立了10萬張卡的算力集群，徹底實現了100%的訓練和推理自由。

2025年起，更多大廠將用自家研發的下一代定制芯片，構建10萬卡級別的算力集群，100%地用于自家下一代大模型的的訓練和推理，追求高于英偉達GPU的性價比。顯然，谷歌的TPU正在從定制向通用加速芯片轉變。英偉達，要瑟瑟發抖了嗎？ ——

2025年4月，在谷歌云Next '25峰會上，谷歌發布了搭建下一代高能效算力基礎設施的Ironwood，提供高性價比推理的新一代主力模型Gemini 2.5 Flash，以及實現爆發中的智能體互操作的新標準Agent2Agent。谷歌在上一代Trillium解決訓練問題的基礎之上，隨著今年應用token數消耗量的爆發，開始重點解決推理成本和能源效率問題。

而且TPUv7已經開始全面對標英偉達最新一代芯片B200，英偉達必須要迅速推出下一代Rubin，才能保持黃仁勛所說的“領先一代”的優勢。

推理正朝著統一多模態與思維鏈的方向發展，需要完成越來越多能源與數據密集任務。除了單卡性能要足夠強大外，芯片能效與內存也是升級重要方向。Ironwood足以與去年的B200相媲美。FP8精度下峰值算力，單個Ironwood芯片達到4,614萬億次浮點運算，與B200相當，稱得上當前最強水平。它的單芯片的HBM內存容量達到了192GB，是Trillium的6倍；HBM帶寬達到7.2Tbps，是Trillium的4.5倍，也均與B200旗鼓相當。不過，Ironwood要等今年晚間出貨，屆時，英偉達下一代Rubin架構芯片最快也會量產。 ——

（Ironwood超節點，連接了9216顆TUPv7芯片，來源：谷歌云）

所以，未盡研究的讀者，在過去的兩年中，應該對于谷歌TPU的崛起，不會感到意外，正如我們今年曾預言，甚至英偉達一樣：

谷歌披露了第七代TPU Ironwood更多細節。這是谷歌首款專為大規模AI推理設計的TPU，突破點覆蓋了“性能、擴展、能效、可靠性”所有維度。單個基于Ironwood的超節點縱向最多可容納9216顆芯片，總算力達到42.5 Exaflops，并共享1.77PB可直接尋址HBM；同時，它還能夠橫向擴展至數十個超節點。每瓦性能是上一代谷歌TPU Trillium的2倍。 ——

谷歌正在開放自己的TPU市場。它現在已經是除了英偉達GPU之外的硬通貨。全球最頂尖的前沿大模型廠商OpenAI與Anthropic都用上了TPU；OpenAI正在自研AI芯片，但奧特曼挖人，還是更信得過在TPU團隊干過的。蘋果也用過谷歌TPU訓練自家AI，xAI則迷上了TPU的JAX框架。還有傳言稱，谷歌正在設法接近Fluidstack等新興AI云服務商，將TPU部署到它們的數據中心里；它們此前屬于英偉達陣營。 ——

英偉達面臨的最大問題，是其高達75%左右的毛利率，越來越難以維持。對于前沿大模型實驗室，英偉達只能通過提供股權投資而非降價，來鞏固其主導地位，因為降價會降低毛利率并引發投資者恐慌。

股權投資的做法，也意味著OpenAI們能從中獲得打折優惠。據業內分析；OpenAI 甚至還沒部署 TPU，就已經在其整個實驗室的英偉達設備組中節省了約 30% 的成本。這表明 TPU 的性價比優勢非常顯著，即使在這些實驗室啟用 TPU 之前，也能立即獲得收益。

至今沒有一家芯片設計廠商，從谷歌到華為，都難于挑戰英偉達的單芯片性能，但是，系統級工程設計，使得 TPU 堆棧在性能和成本效益方面都與英偉達不相上下。這也是中國的一些科技企業，從華為到互聯網巨頭接下來要走的路。

“系統比微架構更重要”，過去兩年的發展也印證了這一點。Anthropic 的大量 TPU 訂單，直接驗證了該平臺的技術實力。與此同時，GPU 生態系統也在改變自己。GB200 代表著一次重大飛躍，推動英偉達向真正的系統公司轉型，能夠設計完整的服務器，而不僅僅是內部的芯片封裝。

對比一下，英偉達直到GB200才實現機架級互連方面的巨大創新，但常常被忽視的是：自2017年TPU v2發布以來，谷歌就一直在機架內部和機架之間擴展TPU！谷歌的ICI擴展網絡，是英偉達NVLink唯一真正的競爭對手。

正如開篇所說，谷歌最近推出的 Gemini 3 被公認為目前最先進的模型，這一結果有力地證明了 TPU 的強大性能以及谷歌在基礎設施方面的整體優勢。具有諷刺意味的是，OpenAI CEO奧特曼在公開點贊之后，就在內部警告，因為GPT大模型正在失去領先優勢，將面臨著嚴峻挑戰。

2024年9月，OpenAI以o1引領了推理模型，把關注點集中在推理和后訓練的硬件上，然而，對前沿模型進行預訓練仍然是人工智能硬件領域最困難、資源消耗最大的挑戰。TPU平臺已經徹底通過了這一考驗。這與競爭對手形成了鮮明對比：自2024年5月GPT-4o發布以來，OpenAI的頂尖研究人員，尚未成功完成任何大規模部署的新前沿模型預訓練，這進一步說明，谷歌TPU集群克服了重大技術障礙。

谷歌一向是一家軟件公司、互聯網公司，其核心業務以往并非硬件業務。但是，谷歌面臨硬件的挑戰，悄然強勢進軍，堅持長達十年的投入，最終確立了系統性能領先地位，正在重新定義自己的AI軟件競爭優勢。這個過程中，3年前遭遇過危機，但今天已經完全扭轉過來了。

所有這些對于英偉達意味著什么？從一定意義上說，AI芯片和基礎設施格局，正在從英偉達的壟斷性霸主地位，向“一超多強”的格局轉變。應該承認，英偉達依然AI芯片和基礎設施超級大廠。

谷歌在TPU上的強勢崛起，帶來如下重要的啟示，包括我們引述了幾點對Semianalysis：

第一，AI 軟件時代的“護城河”，正從“模型”延伸到“基礎設施”。

誰能在芯片、系統、網絡和軟件棧上協同優化，誰就能把單位有效 FLOPs 的成本壓得更低，從而在模型訓練、推理定價和產品形態上更有回旋空間。谷歌通過 TPUv7 和 Gemini 3，已經證明自己并非只會做搜索和廣告。

第二，TPU 不只是“自用武器”，而是正在成為一條完整的商業路線。

通過與 Anthropic 的百萬 TPU 合同，以及新云服務商、加密礦企的三方合作結構，谷歌把原本封閉的 TPU 體系，從內部機房搬到了第三方數據中心，讓整個行業第一次有了真正能和英偉達系統性競爭的替代品。

第三，軟件生態仍是 TPU 的短板，但谷歌已經開始“補課”。

在 PyTorch 原生后端、vLLM / SGLang 集成、SparseCore 可編程性等方面，谷歌投入了大量工程力量；但在 XLA 編譯器、運行時和多 Pod 訓練代碼的開源上，還沒有邁出最后一步。未來 TPU 能否在開發者心智中真正站穩腳跟，很大程度要看這一塊會不會徹底打開。

第四，未來幾年，很可能是“多極算力世界”。

英偉達、谷歌、亞馬遜、AMD，以至于其他云廠商的自研芯片，將在不同客戶、不同負載、不同商業模式下各展拳腳。OpenAI 自研芯片團隊也開始“動真格”，進一步說明頭部實驗室不愿把命運完全交給單一供應商。

第五，在這個多極算力世界中，一定會有中國企業的至少一席之地。

參考：

https://cloud.google.com/blog/products/compute/ironwood-tpus-and-new-axion-based-vms-for-your-ai-workloads；

TPUv7: Google Takes a Swing at the King （https://newsletter.semianalysis.com/）；

https://mp.weixin.qq.com/s/e532IOGX0m0HbLTpTbqgNA