Transformer 如何將 AI 計算效率提升 100 倍？｜DeepMind 首席科學家最新演講

11月25日，Google DeepMind首席科學家 Jeff Dean在斯坦福 AI 俱樂部發表演講。本次演講 Jeff Dean全面復盤了過去 15 年 AI 技術的關鍵轉折點，探討了算力硬件與模型架構的協同進化、計算范式從 CPU 向TPU的必然轉移、大規模深度學習系統的工程哲學、Transformer 架構的效率革命、自監督學習與多模態模型的崛起，以及 AI 在數學推理與科學研究中的前沿應用。

Jeff Dean 指出，機器學習在過去十年徹底重塑了計算能力的邊界。這種變革并非單點突破，而是“規模”與“算法”的乘數效應。他詳細拆解了 Google Brain 早期的工程決策，指出為了突破算力瓶頸，團隊采用了在數學上看似“完全不成立”的異步訓練方法，這種工程實踐最終被證明是實現大規模神經網絡訓練的關鍵。他還特別強調了硬件演進的底層邏輯：Google 研發 TPU 并非為了追求單純的算力堆疊，而是被“1億用戶每天使用3分鐘語音識別”這一實際算力缺口倒逼出的架構創新，他強調，硬件的演變不僅僅是速度的提升，更是為了適應低精度線性代數運算的本質需求。

在模型架構層面，Jeff Dean 深入剖析了從 LSTM 到 Transformer 的范式跨越，并提出了當前前沿模型的一個關鍵共識：現代大模型（如 Gemini）本質上應是“稀疏”的。他指出，處理單一任務時激活整個網絡是巨大的資源浪費，通過稀疏架構僅激活 1%-5% 的參數，可以在算力成本不變的前提下實現性能的指數級躍升。此外，他還探討了自監督學習如何利用海量文本數據進行“填空訓練”，以及在后訓練階段如何通過強化學習和蒸餾技術進一步提升模型的安全性和推理能力。

01

計算范式的重構：從通用 CPU 到機器學習專用算力的演進

Jeff Dean：今天我想和大家探討AI 領域的重要趨勢，主要是回顧過去 15 年左右的發展，以及這些進展是如何緊密結合，從而構建出我們今天所擁有的現代高能力模型的。這展示了 Google 許多人的工作成果，其中一些也源自其他地方，我有時只是一個信使，有時是合作者，也是其中部分技術的開發者。

首先有幾個觀察。我認為在過去十年左右，機器學習已經完全改變了我們對計算機能力的預期。十年前，你無法獲得非常自然的語音識別體驗，也無法與計算機流暢對話。它們在圖像識別或理解視覺內容方面表現不佳，也并不真正理解語言。

發生的變化是，我們發現了一種特定的基于深度學習的方法范式，也就是神經網絡。隨著我們擴大規模，增加算力確實帶來了極好的結果。在這個過程中，我們開發了真正新穎且有趣的算法和模型架構，這些改進也帶來了巨大的提升。這些因素通常能很好地結合，因此更大的規模配合更好的算法，往往能發揮出更優異的效果。

另一件在整個計算行業產生重大影響的事情是，我們想要運行的計算類型以及運行這些計算的硬件已經發生了巨大變化。十五年前，你主要關心 CPU 有多快，也許關心它有多少個核心，能否快速運行 Microsoft Word 和 Chrome 或傳統的手工編寫程序。而現在你關心的是：它能在各種不同的約束條件下運行有趣的機器學習計算嗎？

02

你需要一百萬倍的算力才能制作出真正好的神經網絡

讓我們快速回顧一下機器學習 15 年來的進步。神經網絡被證明是一個相對古老的想法。這種在邊緣具有權重并可以學習識別特定模式的人工神經元概念，實際上非常重要。與之相結合，反向傳播作為一種學習邊緣權重的方法被證明是關鍵所在，因為這樣你就可以根據擁有的一些錯誤信號，對整個網絡進行端到端學習。

這是我在 1990 年，也就是大四那年第一次了解神經網絡時的情況。我當時非常興奮，心想：“這是一個如此偉大的抽象概念，這將非常棒。我們可以構建真正偉大的模式識別系統并解決各種問題。”我當時激動地說：“我要寫一篇關于神經網絡并行訓練的畢業論文。”

我最終做的是嘗試使用系里的 32 處理器機器而不是單臺機器，我想我們將能夠構建真正令人印象深刻的神經網絡。我基本上在這臺時髦的基于超立方體架構的機器上實現了現在所說的神經網絡數據并行和模型并行訓練，然后觀察添加更多處理器時它是如何擴展的。結果證明我完全錯了。你需要一百萬倍的算力才能制作出真正好的神經網絡，而不是僅僅 32 倍。這是一個有趣的練習，但結果表明當時的算力規模遠不足以支撐這一概念。

2012 年，我在 Google 的茶水間碰到了 Andrew Ng。我問他：“嗨 Andrew，你在這里做什么？”他說：“我開始每周在 Google 花一天時間。我還沒完全搞清楚要做什么，但我在 Stanford 的學生開始在各種語音問題上用神經網絡取得不錯的結果。”我說：“那很酷，我們應該訓練真正大規模的神經網絡。”這就是 Google Brain 項目的起源：我們如何利用海量計算來擴展神經網絡的大規模訓練？那時我們的數據中心實際上沒有加速器，只有大量擁有許多核心的 CPU。我們最終構建了名為 DistBelief 的軟件抽象，這最終支持了模型并行以及數據并行。

03

異步訓練悖論：“這在數學上完全不成立，但結果證明它有效”

事實上，我們對模型的多個副本進行了這種時髦的異步訓練。在用一批數據進行每一步訓練之前，其中一個副本會下載當前的參數集，它會全力處理這批數據的訓練并計算梯度更新，即 ΔW，并將其發送給參數服務器，然后參數服務器會將 ΔW 累加到當前的參數狀態中。

這在數學上完全不成立，因為與此同時，所有其他模型副本也在計算梯度并將它們異步地添加到這組共享的參數狀態中。這讓很多人感到緊張，因為它實際上不符合理論上的做法，但結果證明它有效。我們構建了系統，讓模型的 200 個副本都異步地運轉并更新參數，效果相當不錯。我們還有模型并行，可以將非常大的模型劃分到許多計算機上。這個系統使我們在 2012 年能夠訓練比以前任何人訓練過的規模都要大 50 到 100 倍的神經網絡。它們現在看起來真的很小，但在那時我們非常興奮。

04

無監督學習的涌現：“它從未被教過貓是什么，卻自己總結出了貓的概念”

我們使用這個系統做的第一件事就是后來聞名的“貓論文”，我們從隨機的 YouTube 視頻中提取了 1000 萬個隨機幀，并僅僅使用一個無監督目標函數來學習一種表示，然后用它來重建每一幀的原始像素。學習目標有點像是試圖最小化給定輸入幀的重建誤差。你不需要任何標簽，事實上，系統從未看到過無監督部分的任何標記數據。

我們發現，在這個模型的頂層，最終會得到對圖像是否包含不同種類的高級概念敏感的神經元。即使它從未被教過貓是什么，也有一個神經元，你能給它的最強刺激就是像貓臉一樣的東西。它只是通過接觸這些數據就自己總結出了貓的概念。還有針對人臉、行人背部或類似事物的其他神經元。

也許更重要的是，我們在較為冷門的 ImageNet 22,000 類別基準測試上獲得了現有技術的巨大提升。大多數人競爭的是 1,000 類別那個。我們當時想，讓我們做 22,000 類別的那個。我們在現有技術上獲得了 70% 的相對提升。我們還證明，如果做無監督預訓練，實際上在準確性上獲得了相當顯著的增加。

05

從詞向量到 LSTM 的序列預測

我們也開始思考語言，并研究如何獲得單詞的良好分布式表示。與其將單詞表示為離散的符號，我們希望為每個單詞建立一個類似神經網絡的表示，然后能夠學習這些表示，以便最終得到代表系統中每個單詞或短語的高維向量。如果你這樣做并且擁有大量訓練數據，也就是你需要用來訓練的原始文本，你會發現當訓練完成后，在高維空間中位置相近的單詞都是相當相關的，比如 Cat、Puma 和 Tiger 都在附近。

但也很有趣的是，我們發現方向是有意義的。如果你對這些向量進行減法運算，你會發現改變單詞性別的方向是相同的，例如無論你是從 King 開始還是從 Man 開始。你最終能夠做到這一點，還有針對動詞過去時和動詞將來時的其他方向，那確實有點有趣。

然后我的同事 Ilya Sutskever、Oriol Vinyals 和 Quoc Le 致力于使用 LSTM，即循環長短期記憶模型，來解決一個特別好的問題抽象，也就是你有一個序列，并使用它來預測另一個不同的序列。結果證明這在世界上有各種各樣的用途，包括翻譯。如果你看到足夠多的英語-法語句子對并使用這個基于序列到序列的學習目標，那么你最終會得到一個相當高質量的翻譯系統。結果證明你也可以將此用于各種其他事情。

06

硬件倒逼軟件：為了解決一億人的語音識別需求而誕生 TPU

隨著我們在將神經網絡用于語音識別、視覺和語言等各種有趣領域獲得越來越多的成功，我們開始意識到的另一件事是——我做了一個粗略的估算。我們剛剛研發出一個真正高質量的語音識別模型，雖然還沒有推出，但我們可以看到它的錯誤率比 Google 當前運行在數據中心的生產級語音識別系統低得多。我說：“如果語音識別變得好很多，人們將會想要更多地使用它。所以如果 1 億人想要開始每天對著他們的手機說三分鐘話怎么辦？”

結果證明，如果我們想要在 CPU 上運行這個高質量模型，也就是我們當時在數據中心擁有的硬件，我們將需要將 Google 擁有的計算機數量增加一倍，僅僅為了推出這個改進的語音識別功能。我說：“我們真的應該考慮專用硬件，因為我們可以通過構建專用硬件來利用神經網絡計算的各種優良屬性。”特別是它們非常容忍極低精度的計算。你不需要 32 位浮點數。我們當時研究的所有神經網絡本質上都只是密集線性代數運算的不同組合，如矩陣乘法、向量點積等等。如果你能構建真正擅長低精度線性代數的專用硬件，那么突然之間你可以擁有效率高得多的東西。

我們開始與一組芯片設計者和電路板設計者合作。在 2015 年，我們最終擁有了 TPU v1，即張量處理單元，它真的是設計來加速推理的，并部署到了我們的數據中心。我們做了一系列實證比較，結果表明它比當時的 CPU 和 GPU 快 15 到 30 倍，能效高 30 到 80 倍。

與同一組人合作，我們意識到我們也想研究訓練問題，因為推理是一個不錯的小規模問題，但對于訓練，它是一個規模大得多的問題。所以我們開始圍繞擁有低精度、高速定制網絡和一個可以將高級計算映射到實際硬件上的編譯器的想法，來設計機器學習超級計算機。最終我們推出了一系列 TPU 設計，這些設計逐漸變得越來越快，規模越來越大。我們最近的一個叫做 IronWood。這個系統的 Pod 集群大小是 9,216 個芯片，都連接在一個 3D 環面網絡中，擁有相當大的帶寬和容量。

07

Transformer 革命：少10倍計算量換取更高準確性

另一件已經發生的事情是開源工具真正賦能了整個社區。我們開發并開源了 TensorFlow，隨后 PyTorch 和 JAX 也相繼出現，這些框架在很多方面真正賦能了整個社區。

在 2017 年，我的幾位同事致力于這個基于注意力的機制，建立在一些早期關于注意力的工作之上，但提出了這個非常棒的架構，它現在是你今天看到的那些令人興奮的語言模型的核心。他們的觀察實際上是：不像 LSTM 那樣，在 LSTM 中你有一個詞，你通過更新內部狀態來消耗那個詞，然后繼續處理下一個詞；他們的觀察是，不要試圖把所有那些狀態強制壓縮進一個每一步都更新的向量中。相反，讓我們保存經過的所有狀態，然后讓我們能夠在任何試圖根據過去的上下文做某事的時候，關注所有的狀態。這真的是《Attention Is All You Need》這篇論文標題的核心。

他們能夠展示的是，你可以用少 10 到 100 倍的計算獲得高得多的準確性，并且在這種情況下，用小 10 倍的模型（這是對數尺度上的參數數量）對于一個語言模型來說，可以將 Loss 降低到一個特定的水平。他們能夠展示的是，Transformer 基礎模型中少 10 倍的參數會讓你達到那個效果，而且在論文的其他數據中，他們展示了計算量減少了 10 到 100 倍。

08

自監督學習：利用海量文本的填空游戲是現代語言模型的核心

另一個超級重要的發展僅僅是使用自監督數據的大規模語言建模。世界上有海量的文本。基于這些文本的自監督學習可以給你幾乎無限數量的訓練樣本，其中正確的答案是已知的，因為你有一些從模型的視野中移除的詞，然后你試圖預測那個詞。這有幾種不同的形式。

一種是自回歸的，你可以向左看并嘗試根據在那之前看到的所有詞來預測下一個詞是什么。例如“Stanford [空白]”，“Stanford [空白] University”，“Stanford is a [空白] University”。你為這個詞做一個猜測。所以你投入到做這種事情的所有努力使得模型能夠利用所有這些上下文并做出越來越好的預測。

還有另一個你可以使用的目標，你可以看左邊和右邊更多的上下文，只是試圖猜測缺失的詞。如果你玩過填詞游戲，它有點像那樣。“The Stanford [空白] Club”，“ [空白] together [空白] and Computer [空白] enthusiasts”。其中一些你可能可以猜到，其中一些更難猜。但這真的是在文本上做自監督學習的關鍵，這是現代語言模型的核心。

結果證明你也可以將這些基于 Transformer 的模型應用于計算機視覺。我的另一組同事研究了我們如何做到這一點。他們再次發現，對于不同大小的配置，使用大約少 4 到 20 倍的計算量，你可以達到最好的結果。再次強調，算法改進在這里產生了很大的不同，因為現在突然之間你可以訓練大得多的模型或使用更少的計算來獲得相同的準確性。

這是Jeff Dean演講實錄的下半部分，涵蓋了稀疏模型、Pathways架構、后訓練技術（蒸餾與強化學習）、Gemini模型的具體突破以及對未來的展望。

09

僅激活1%的參數，在同等準確度下實現8倍算力效率提升

我和幾位同事共同倡導并組建了一個小團隊，致力于研究稀疏模型。我們認為，在普通的神經網絡中，處理每一個輸入示例都需要激活整個模型，這無疑是一種巨大的資源浪費。如果能構建一個規模極其龐大的模型，并讓其中的不同部分專精于不同類型的任務，效果會優越得多。這樣，當你調用模型中所需的特定“專業知識”時，只需激活整體模型中極小的一部分，比如在進行任何給定的預測時，可能只調用了模型總參數量的 1% 到 5%。

我們要再次強調，在同等準確度水平下，這帶來了算力效率的重大飛躍。相關數據曲線顯示，在保持相同準確度的前提下，訓練成本算力降低了約 8 倍。換個角度看，你也可以利用這些節省下來的算力預算，在成本不變的情況下訓練出一個性能更優的模型。隨后，我們繼續在稀疏模型領域進行了大量深入研究，因為我們堅信這一方向至關重要。事實上，大家今天所熟知的大多數前沿模型，例如 Gemini 模型，本質上都是稀疏模型。

為了支持更多結構獨特且復雜的稀疏模型，我們開始構建計算抽象層。這允許我們將有趣的機器學習模型映射到硬件上，而研究人員無需過多操心計算的具體部分位于何處。Pathways 是我們構建的一個系統，其設計初衷就是具備極高的可擴展性，從而簡化這些超大規模訓練計算的運行。

假設每一個計算單元都是一個 TPU Pod，在 Pod 內部的芯片之間存在超高速網絡連接，但有時你需要運行一個跨越多個 Pod 的任務。此時，Pathways 的核心作用之一就是編排所有這些計算資源，包括本地數據中心網絡、園區網絡甚至跨越大都會區域的長距離鏈路。作為機器學習研究員，你不必思考應該使用哪條網絡鏈路。系統會在最佳時間選擇最佳路徑，并自動處理故障，比如應對某個芯片或 Pod 宕機等突發情況。

Pathways 提供的一個重要抽象層位于 JAX 之下，即 Pathways 運行時系統。這使得我們可以讓單個 Python 進程看起來像是一個擁有 10,000 個設備而非僅有 4 個設備的 JAX 編程環境。你可以使用所有標準的 JAX 機制來表達想要在所有這些設備上運行的計算任務。

10

知識蒸餾的威力：僅用3%的訓練數據即可逼近全量數據效果

我的另一組同事則致力于研究如何通過更好的模型提示來引導出更優質的答案。他們的觀察是，在進行自監督學習時，教師模型會給出缺失單詞的概率分布。事實證明，當學生模型出錯時，利用這個分布可以提供比單一答案豐富得多的信息。因為缺失的詞很可能是小提琴、鋼琴或小號，但極不可能是飛機。這種豐富的信號實際上能讓模型學得更快、更輕松。

特別是在這篇論文中，我們展示了一個語音數據集的案例，試圖正確預測音頻幀中的聲音。基準情況是，如果使用 100% 的訓練集，在測試幀上可以達到 58.9% 的準確率。但如果只使用 3% 的訓練數據，準確率會大幅跌落至 44%。然而，如果利用蒸餾過程產生的軟目標，即便只用 3% 的訓練數據，也能達到 57% 的準確率。這就是為什么蒸餾是一項如此關鍵的技術。因為你可以先訓練一個超大規模的模型，然后利用蒸餾技術，將其能力遷移到一個小得多的模型上，最終得到一個高質量的小模型，其性能非常接近大模型。

11

強化學習進階：在數學和代碼等可驗證領域，模型能夠自我探索并超越人類數據

進入 2020 年代后，業界開始在后訓練階段大量應用強化學習。一旦你基于自監督目標訓練好了一個模型，你會希望鼓勵模型表現出符合預期的行為模式。例如在回復風格方面，你可以給予它強化學習反饋，或者提供有禮貌的示例并進行微調。

此外，你還可以通過向模型展示如何處理更復雜的問題來增強其能力。這些信號來源多種多樣。一種是基于人類反饋的強化學習（RLHF），利用人類對模型輸出的反饋讓模型逼近人類獎勵信號所期望的行為。另一種是基于機器反饋的強化學習，利用另一個“獎勵模型”來提供反饋。

但在數學或代碼等可驗證領域中的強化學習可能最為重要。在這里，你可以讓模型嘗試生成數學問題的解，假設是一個證明，由于這是一個可驗證的領域，你可以運行傳統的證明檢查器來驗證模型生成的證明。證明檢查器會判定證明正確，或者指出在第 73 步出錯。當模型推理正確時，給予正向獎勵。同樣的方法也適用于代碼生成，代碼能編譯通過給予獎勵，如果能編譯并通過單元測試則給予更高獎勵。當你有一系列問題讓模型嘗試解決并根據結果給予獎勵時，模型就能真正探索潛在的解決方案空間。隨著時間推移，它探索該空間的能力會越來越強。

12

Gemini 的多模態突破

綜上所述，我們在 Google 一直致力于研發 Gemini 模型，它將許多上述理念融合成了非常有趣的模型。我們開展 Gemini 項目的目標是訓練世界上最優秀的多模態模型，并將其應用于 Google 的全線產品，同時也開放給外部開發者。

我們希望它從一開始就是多模態的，即能夠接受各種不同模態的輸入，也能產生多種模態的輸出。我們一直在增加更多的模態支持，包括生成視頻、音頻等內容的能力。我們堅信超長上下文長度的重要性，這樣模型就能查閱大量輸入片段，并對其進行推理、總結或回顧。Gemini 2.0 在某種程度上建立在這些理念之上，是一個能力相當強的模型。

為了展示數學推理能力的發展程度，我們今年使用 Gemini 1.5 Pro 的一個變體參加了國際數學奧林匹克競賽，去年我們也參加了，但今年是一個純語言模型系統。我們在六道題目中正確解決了五道，這相當于金牌水平的得分。這是問題描述，這是我們模型的輸入，這是模型能夠生成的輸出。推理過程很長，評委們很欣賞我們解法的優雅，最終我們完成了論證，Q.E.D.。回想 2022 年時，我們還在試圖解決“約翰有四只兔子，又得到了兩只，他現在有幾只？”這樣的問題，現在靜下心來欣賞這些模型在數學推理能力上走了多遠，確實令人感慨。

13

從代碼生成到多模態食譜轉換，AI 正在模擬人類思維過程

本周早些時候，我們發布了 Gemini 1.5 Pro 模型。它在眾多基準測試中表現優異，特別是我們在 LM Arena 中排名第一，這是一種很好的非基準測試評估方法，顯示了模型在盲測中普遍比其他模型更受用戶青睞。

真正的突破之一是我們在 Web 開發風格的代碼生成上，相比早期模型有了巨大飛躍。例如，輸入“Gemini 滑板”或“Gemini 沖浪”，模型實際上是在編寫代碼來生成這些動畫場景。你可以給這些模型非常高層的指令并讓它們編寫代碼。雖然不總是成功，但當它奏效時，那種神奇的感覺非常棒。

另一個很好的例子是多模態能力的綜合運用。用戶可以將一大堆各種語言（韓語、英語）的食譜照片輸入模型，要求翻譯并轉錄，然后創建一個雙語網站。模型不僅完成了轉錄，還為網站生成了漂亮的配圖和代碼，最終生成了一個包含食譜的可用網站。這結合了模型的多種能力，最終生成了某種有用的東西。

我們也推出了更好的圖像生成模型。例如，你可以輸入“將這張藍圖變成房子外觀的 3D 圖像”，或者拿原始的《Attention Is All You Need》論文配圖，要求在每一個不同的點注釋發生的重要方面。此外，Nano-Banana 項目展示了在中間圖像層面進行推理的能力。問題是“告訴我球會落在哪個桶里”，模型使用圖像一步一步解決它，某種程度上模擬了人類的思維過程：首先球滾到那里，然后滾向另一邊到坡道三，最后落在 B 桶里。

14

AI 輔助的未來是光明的，但必須正視錯誤信息等潛在風險

總之，我希望你們看到，這些模型在各種不同的任務上正變得相當強大。進一步的研究和創新將延續這一趨勢。這將對眾多領域產生巨大的影響，特別是醫療保健、教育、科學研究、媒體創作以及錯誤信息應對等。它有潛力讓真正的深度專業知識觸達更多人。

想想那些編碼的例子，許多沒有受過編程訓練的人，可以獲得計算機的輔助，他們的愿景可以幫助他們為食譜或其他任何東西生成有趣的網站。如果利用得當，我認為我們 AI 輔助的未來是光明的。但我并非完全無視風險。像錯誤信息這樣的領域是潛在的關注點。實際上，John Hennessy、Dave Patterson 和我，以及其他幾位合著者去年寫了一篇論文，探討了所有這些不同領域，并采訪了這些領域的專家，詢問他們的意見，以及我們如何確保在獲得醫療、教育和科學研究等驚人益處的同時，又能最小化來自錯誤信息或其他方面的潛在負面影響。

| 文章來源：數字開物

第二十屆中國IDC產業年度大典(IDCC2025)暨數字基礎設施科技展(DITExpo) 以“重塑算力 破界而生”為主題，將于2025年12月10-11日在北京首鋼國際會展中心1號館舉辦，將有超過12場主題平行論壇聯合舉辦。

萬卡集群怎么建？液冷如何用？算力出海現狀如何？算電怎樣協同？國產芯片如何破局？算力資產如何定價？綠電直連路徑在哪？聚焦IDCC2025以及15+場論壇直擊算力產業核心命題！

↓↓↓掃碼立即報名參會↓↓↓

? END?

【專欄】精品再讀