AI 創造力源于“極度壓縮” | 辛頓 VS Google 首席科學家

近日，在美國圣地亞哥舉行的 NeurIPS大會現場，Google 首席科學家、Gemini 共同負責人 Jeff Dean 以及諾獎得主 Geoffrey Hinton 進行了一場關于人工智能歷史與未來的圓桌對話。本次對話，兩位嘉賓回顧了從深度學習早期突破到當下挑戰與機遇的種種歷程，Google Brain 創立初期、深入探討了Scaling Law在工業界的首次確證、Transformer 與 MoE的演進邏輯、TPU 芯片的戰略護城河、Google 面對 LLM 浪潮的內部抉擇，以及兩位嘉賓關于“壓縮即創造”與 AI 加速科學發現的未來愿景。

嘉賓一致認為，盡管算法精進很重要，但將模型規模與數據量提升到超越當時認知的水準，是實現智能飛躍的確定性路徑。Hinton 提出，大模型的本質是將海量知識壓縮到有限的連接中，這種極度壓縮迫使模型挖掘不同知識點背后的深層共性，從而產生了人類未曾察覺的跨學科創造力。

Jeff Dean 首次詳盡還原了自研芯片 TPU 的啟動邏輯。他指出，正是預見到 1 億用戶每天使用語音功能將迫使 Google 服務器翻倍的巨大財務風險，才驅動了專注于低精度運算的專用集成電路（ASIC）研發。Jeff Dean 強調，神經網絡對計算誤差具有天然的寬容度，甚至不需要糾錯內存，這種“結構性優勢”是 AI 能夠實現數十億倍算力擴展的基石。

展望未來，Hinton 認為 AI 導師將憑借數百萬學生的教學經驗積累，在教育領域徹底超越人類私人教師；而 Jeff Dean 則期待 AI 能發現跨學科間的隱秘聯系，實現科學發現的全自動化，開啟“研究全自動時代”。

01

并行計算與神經網絡結合的早期探索奠定了基礎

反向傳播算法雖然在 1986 年正式發表，但其潛力在 1982 年左右就已初顯。Jeff Dean 在 1990 年的本科論文就選擇了神經網絡并行算法。當時你在 32 處理器計算機上的研究是否讓你成為了第一個意識到擴展算力是關鍵的人？Geoffrey，你又是何時領悟到算力的重要性？

Jeff Dean: 我當時修了兩門并行算法系列課程，其中花了一周左右研究神經網絡。我對此非常著迷，于是向明尼蘇達大學的 Vipin Kumar 教授申請做關于神經網絡訓練并行算法的榮譽論文。系里當時有一臺 32 處理器的超立方體計算機。我想，如果能獲得 32 倍的算力，就能制造出不可思議的神經網絡。其實我當時也沒完全領悟，我當時做的加速曲線并不理想，因為我犯了一個錯誤：在增加處理器數量時沒有同步擴大模型規模。當我試圖將 10 個神經元的層分布到 32 個處理器上時，效果非常糟糕。不過那次嘗試很有意義，我實際上創建了兩種模式：一種是現在所說的數據并行訓練，另一種是模型并行訓練，只不過我當時給它們起了些奇怪的名字。

Geoffrey Hinton: 我本該在 80 年代后期就意識到這一點。當時有兩個研究團隊投入巨大精力利用并行計算構建更好的語音聲學模型。他們得到的模型性能達到了當時的頂尖水平，優于普通處理器運行的效果。那一刻我們就該明白，只要把規模做大，效果就會更好。但當時大規模運行需要極其復雜的編程和硬件，由于種種限制，我們當時并沒能真正吸取這個教訓，現在想來確實有些遺憾。直到 2014 年左右聽了 Ilya Sutskever 的一場演講，我才真正完全領悟到 Scaling Law 的威力。這已經非常晚了，我之前沒意識到模型可以一直通過這種方式擴展下去。

你們挑選的學生和博士后名單非常顯赫，包括 Yann LeCun、Ilya Sutskever 等人。Jeff 曾說過衡量成就的一種方式是看研究生的表現。當你們在挑選學生進入實驗室時，最看重哪些特質？

Geoffrey Hinton: 我特別看重那些有過原創想法并付諸行動的人。我常會問面試者，你產生過的最好的想法是什么？有些學生雖然課程全優，但卻解釋說因為還沒讀研究生所以還沒有自己的想法。對于這類人，我通常不會選擇。

02

深度學習的工業爆發點

多倫多大學那個簡陋的實驗室最終創造了 AlexNet。當時為什么要參加 ImageNet 比賽？能談談當時使用了多少算力，以及硬件設施背后的故事嗎？

Geoffrey Hinton: 幾年前 Vlad Mnih 曾嘗試使用 NVIDIA 的 GPU 識別航拍圖像中的道路，他在復雜的城市環境中做得非常出色。這項研究得到了政府的一項戰略資助。在 Vlad 證明了多層網絡遠優于單層網絡后，我申請了資助續期。當時的核心爭議在于增加層數是否真的能提升性能，而他證明了每多一層效果就會變好，這是一個非常深刻的結論。隨后我申請資助續期，卻有一位評審員認為這項研究不可能產生工業影響。我真想告訴他，這類技術貢獻了去年美國股市 80% 的增長。

（關于 GPU 的潛力）通過這項工作，我們意識到 GPU 的潛力。某天我讓 Alex Krizhevsky 嘗試識別類似 MNIST 規模的小圖。我記得 Alex 第一次嘗試時告訴我不成功，我去檢查代碼發現他把權重衰減參數設成了 1。我告訴他應該設為 0.0001。學生在剛接觸新事物時可能顯得缺乏經驗，但 Alex 進步得飛快。隨后 Ilya 提議把技術應用到 ImageNet 上，并搶在其他人之前做出來。Ilya 親自做了數據預處理，將所有圖像處理成統一尺寸。結果證明效果驚人。接著我做出了一個明智的管理決策。當時 Alex 需要完成綜合考試，但他一心只想做研究。于是我說，只要他在 ImageNet 上的準確率每周提高 1%，就可以推遲考試。結果他連續推遲了好幾個月。當時訓練用的設施就在 Alex 臥室里的兩塊 GPU 板卡上。板卡是我們買的，電費是他父母交的，這也算幫學校省了錢。

03

超大規模模型結合海量數據是性能跨越式提升的確定性方向

在 AlexNet 誕生前，Google Brain 團隊啟動了 DistBelief 項目。它的起源是怎樣的？那場動用了 1.6 萬個 CPU 核心的 YouTube 實驗是否讓你們預見到了 AlexNet 的成功？

Jeff Dean: Google Brain 團隊的起源源于我碰巧遇到了 Andrew Ng。他當時剛開始在 Google 兼職。他在微型廚房告訴我，他在斯坦福的學生們用神經網絡跑出了一些很棒的結果。這勾起了我對本科論文時期神經網絡研究的回憶。于是我提議，為什么不在 Google 訓練真正超大規模的神經網絡？我們有海量的機器。當時數據中心主要使用 CPU 集群。我開始編寫一個軟件抽象庫，通過模型并行和數據并行將計算任務分配到大量機器上。我們最終使訓練規模比當時已知水平擴大了 50 倍。

（關于 YouTube 實驗）我們完成了一項著名的實驗，在 1000 萬個隨機 YouTube 視頻幀上進行無監督學習。不過我們當時犯了一個大錯，雖然采用了局部連接模式，但為了追求生物合理性而沒有使用卷積。結果我們搞出了一個擁有 20 億個獨立參數的龐然大物。最終我們在包含 2.2 萬個類別的 ImageNet 數據集上進行了訓練，相比當時的頂尖技術，誤差降低了 70%。那次訓練動用了 1.6 萬個 CPU 核心。我們由此明確觀察到，模型越大效果越好。隨后我們將這個軟件庫應用到語音識別和計算機視覺等領域。雖然當時沒正式提出 Scaling Law，但我們心里都清楚：大模型加海量數據就是未來。所以當 AlexNet 橫空出世時，我們可能是極少數不感到驚訝的人，因為在 AlexNet 結果公布的前一年，我們已經在更大規模的數據集上看到了巨大的性能提升。

04

早期 Google Brain 的黃金時代

為什么當初堅定地選擇了 Google？當時只有 20 人左右的 Google Brain 團隊內部氛圍是怎樣的，是否有某些瞬間讓你感受到了工業界與學術界在資源支持上的巨大差異？

Geoffrey Hinton: 堅定選擇 Google 主要是因為 Google Brain 團隊的氛圍極佳。我當時就知道我們在 Google 一定會工作得很開心。我記得剛從大學進入工業界時，有一次算力資源耗盡了。我聽到 Jeff 在電話里說，兩百萬美元應該夠了。這讓我感觸很深，在大學里想申請兩百萬美元的算力經費，需要寫好幾年的撥款申請。

Jeff Dean: 早期的 Brain 團隊確實充滿樂趣，大家都覺得那段時光非常棒。當時一切都是全新的，雖然不知道未來走向何方，但大家篤信模型越大、數據越多，效果就越好。當時 Brain 團隊大約有 20 人，我們都在一個不算大的辦公室里辦公。

在進入 Google 后的幾年里，團隊產出了許多重要成果。Geoffrey 你曾堅持研究被 Jeff 和 Ilya 質疑的“膠囊網絡”，這種科研韌性來自哪里？此外，2014 年提出的“知識蒸餾”技術最初竟被 NIPS 拒絕，審稿人的盲點在哪里？

Geoffrey Hinton: 我研究了一個叫膠囊網絡的項目。這是堅持科研決心的典型例子，如果你選對了方向，巨大的決心會帶來極佳的結果，但如果選錯了方向，則會虛耗多年且一無所獲。早期 Jeff 和 Ilya 都建議我停止研究膠囊網絡，但這反而讓我更加堅定。

（關于知識蒸餾）我也為 Google 做出了一些實用貢獻，比如 2014 年提出的知識蒸餾 (Distillation) 技術。我記得這篇論文最初被 NIPS 拒絕了，審稿人認為學生模型的表現不會超過老師模型，完全沒理解其中的邏輯。事實證明，蒸餾技術非常有用，這一點看看 DeepSeek 就知道了。那是一個匿名審稿人給的意見。我真希望知道是誰在加拿大的報告里寫過，深度神經網絡的研究永遠不會產生工業影響。

在 AlexNet 爆發之前，你曾嘗試將實驗室頂尖的語音聲學模型推薦給黑莓的母公司 RIM，但遭到了冷遇。這段故事背后的細節是怎樣的？這項技術后來是如何通過你的學生 Navdeep 在 Google 內部力排眾議并最終取得成功的？

Geoffrey Hinton: George Dahl 和 Abdel-rahman Mohamed 開發了一個非常出色的語音聲學模型，其表現優于當時最好的模型。我的學生 Navdeep 曾想去那家公司（RIM）實習，我聯系了他們，表示我們有一種更好的語音識別方法想提供給他們，并希望學生能去展示。但對方回復說，他們對語音識別不感興趣，畢竟他們當時擁有全鍵盤，覺得不需要語音功能。

（關于后續發展）諷刺的是，該公司的創始人后來一直在抱怨加拿大的研究成果沒能在本土轉化，但實際上是他們自己決定放棄這項技術的。后來 Navdeep 去了 Google 蒙特利爾實驗室。雖然主管 Vincent 最初認為改變 Google 的語音識別方式是個過于宏大的目標，但在 Navdeep 的堅持下，他獲得了 GPU 資源并最終取得了成功。

05

Transformer 的誕生與 MoE 的乘數效應

誕生于 Google Brain 的 Transformer 徹底改變了 AI 進程。在研發過程中，內部是否意識到這是一個劃時代的突破？從注意力機制的引入到專家混合模型（MoE）的結合，算法改進與算力規模是如何共同作用，使現在的計算量達到十年前數十億倍的？

Jeff Dean：我認為引發關注的起點是 Ilya 等人完成的序列到序列工作，該研究使用大規模 LSTM，最初在語言翻譯上取得了極好效果。我們當時一直在嘗試擴大 LSTM 規模，后來有人意識到，如果每個時間步都試圖將所有信息打包進一個向量中，會面臨序列依賴導致的計算瓶頸和容量限制。如果能保存所有狀態并利用注意力機制予以處理，會是更好的選擇。這一理念隨后演化為 Transformer，其核心是保存并關注所有狀態，這實現了計算的并行化，徹底擺脫了序列依賴，并且在解碼或編碼時可以查看更豐富的歷史狀態。

（關于注意力機制）Geoffrey Hinton：注意力機制最初被 Bahdanau 用于機器翻譯，在生成法語譯文之前保留完整的英語句子是合理的，當時的上下文規模并不大，他們將這種簡單的注意力機制引入序列到序列模型后取得了巨大成功。Transformer 剛出現時我關注不夠，因為我覺得大腦并不是通過保留所有神經活動向量副本這種方式運作的。

（關于 MoE 與效率提升）現在看來，可以通過快速權重等方式來近似模擬這一過程。第一篇 Transformer 論文證明，可以用少十倍到一百倍的算力獲得同等質量的結果，或者在同等算力下獲得極高的質量。我們在稀疏激活模型的規模化上也取得了類似結果，算力效率提升了十倍。這兩項技術是互補的。現在我們將基于 Transformer 的專家混合模型結合在一起，性能提升產生了乘數效應。在過去十年中，算法改進與更快的芯片、更大的訓練規模相結合，使現在的計算量達到了十年前的數十億倍。我記得 2012 年左右，系統管理員在安裝新的 Titan 顯卡時動作稍慢，我當時就在計算他浪費了多少算力，如果我在 1986 年用 Lisp 機器運行神經網絡，這塊新顯卡只需要一分鐘就能追上它跑了二十多年的工作量。

Jeff Dean：我們當時在適中規模的團隊里，短時間內識別出了知識蒸餾、Transformer、序列到序列模型以及詞向量模型等成果。Transformer 在當時看來是重大突破，但我們當時并未預見到它會比其他技術重要得多，盡管它現在確實被證明極其有用。

06

Google 錯過“ChatGPT 時刻”的內幕

在 ChatGPT 出現前，Google 內部已有 PaLM 等表現卓越的聊天機器人且擁有八萬多名內部用戶。當時內部是否討論過以顛覆自身業務的方式發布它？Google 是否后悔開源了 Transformer 論文，以及當前的論文發表政策在競爭壓力下有何調整？

Geoffrey Hinton：在 ChatGPT 之前，Microsoft 發布的聊天機器人 Tay 曾因噴射仇恨言論而嚇壞了所有人。Google 在發布這類模型時非常謹慎，其實在 ChatGPT 之前，Google 已經擁有了像 PaLM 這樣表現出色的聊天機器人，只是當時還沒引入人類反饋強化學習，也沒意識到通過少量樣本就能有效抑制模型產生負面內容。

Jeff Dean：（關于搜索產品的考量）我們當時在 Google 內部有一個使用率極高的聊天機器人，在疫情期間有大約八萬名員工在使用，大家都覺得它非常有用。但我們當時確實有些目光短淺，由于它存在幻覺和事實性錯誤，如果從搜索產品的角度來看，這是不可接受的。我們當時沒能完全理解聊天系統在核心搜索之外的廣泛用途，比如協助起草信函或總結論文等功能。單純從搜索產品的視角來看，我們當時認為它還沒準備好作為產品推向市場，但從用戶價值的角度來看，員工反饋極其正面。因此，在正式對外發布前，我們希望先解決事實準確性與幻覺問題。

（關于論文發表政策）Google 不會后悔發表關于 Transformer 的論文，因為它對世界產生了非常深遠且正向的影響。實際上我們仍然發表了大量成果，在 NeurIPS 的議程中，Google 通常有一百多篇論文入選。在超大規模模型領域，由于競爭異常激烈，我們對涉及核心商業利益的技術細節確實更加謹慎，比如我們不會公布 Gemini 訓練方案的具體細節。但對于邊緣領域或早期研究，我們依然樂于輸出觀點，堅持發表論文也是吸引頂尖人才的競爭優勢。Google 的研究體系非常龐大，這保證了論文發表的廣泛性。

07

TPU 的秘密：自研硬件構筑的結構性優勢

TPU 被視為 Google 面對競爭時的護城河。這個項目最初是如何啟動的，你是如何說服 CFO 在用途尚不明確時投入巨資的？神經網絡對低精度運算的“寬容”如何影響了硬件設計的效率，TPU 的迭代如何改變了芯片研發的范式？

Jeff Dean：TPU 項目源于我們在語音識別和計算機視覺模型上取得的突破。當時我意識到，如果用傳統的 CPU 平臺運行這些模型，計算成本將不可想象。假設有 1 億用戶每天使用 3 分鐘語音功能，改用 CPU 運行意味著 Google 必須將服務器數量翻倍。我們預見到強大神經網絡將無處不在，神經網絡的運算類型非常單一，且對低精度運算極其寬容，因為低精度帶來的噪聲正是神經網絡所適應的。

Geoffrey Hinton：（關于硬件設計的容忍度）而且你甚至不需要糾錯內存，因為個別位的錯誤對整體結果幾乎沒有影響。

Jeff Dean：沒錯，這就像是隨機失活。當時我認為，如果建立一個硬件團隊最初專注于推理環節，將能極大緩解大規模部署時的計算壓力。于是我們決定直接研發定制 ASIC，因為 FPGA 雖然靈活，但性能損耗會抵消收益。我當時在走廊里攔住了首席財務官，說服他在用途尚不完全明確的情況下，先部署價值 5000 萬美元的硬件。最終，這些設備在語音、視覺和翻譯業務中發揮了巨大作用。隨后硬件團隊轉向了規模更大的訓練問題，致力于讓大量芯片通過超高速互連協同工作，構建起機器學習超級計算機。目前我們已經迭代了多代產品，其布局效率已全面超越傳統的人工設計方案，這改進了芯片的質量和研發速度。

08

大模型的本質是通過壓縮挖掘深層共性

Transformer 會被取代嗎？展望 20 年后，這項技術會給人類社會帶來怎樣的劇變？你們如何定義大模型的“創造力”，以及 AI 將如何在醫療與教育領域徹底重構現有的生產力分配？

Jeff Dean：有一些趨勢值得關注，如果我們能讓模型處理數萬億 Token，它就能直接閱讀海量的科學文獻庫或視頻庫，這會徹底改變模型的應用范式。這需要更節能的硬件支撐。目前的模型大多是靜態訓練的，模型在服務用戶時應當具備進化的能力。當前的架構依然不夠自由，不像人腦那樣靈活，我們需要探索更有趣的連接模式，而非目前這種由同等規模專家組成的稀疏 MoE 架構。

Geoffrey Hinton：（關于社會變革風險）如果有人造出它，要么人類從此過上幸福生活，要么集體走向終結，沒有人能準確預見 20 年后的社會變革。顯而易見的是，大量工作崗位會消失，這需要通過社會制度的演進來解決生產力提升后的財富分配問題。

Jeff Dean：（關于科學與創造力）我最期待的是 AI 對科學研究的加速作用。它能發現跨學科間的隱秘聯系，并在某些領域實現科學發現的全自動化。

Geoffrey Hinton：大模型的本質是將海量知識壓縮到有限的連接中，這種壓縮過程迫使模型挖掘不同知識點背后的深層共性。它們已經在人類未曾察覺的地方找到了這些聯系，比如希臘文學與量子力學之間可能存在的類比。這種極度壓縮的能力讓 AI 展現出真正的創造力。

（關于醫療與教育的未來）在醫療領域，效率提升意味著每個人都能獲得更優質的醫療服務，而非醫生人數的減少。在教育方面，AI 導師將通過積累數百萬名學生的教學經驗，最終超越人類私人教師，幫助人類吸收多得多的知識。

| 文章來源：數字開物

【AI技術與應用交流群｜僅限受邀加入】

AI算力領域TOP級從業者專屬圈層

√ 與頭部算力企業深度對話

√ 與AI上下游企業深度對話

√ 獲取一手全球AI與算力產業信息

√ 獲取AI熱點及前沿產業獨家信息

√ 隨時了解全球AI領域高管最新觀點及實錄全文

√ 有機會參與AI主題產業交流活動

掃碼驗證身份（需備注姓名/公司/職務

不止有 DeepSeek，更有 AI產業的未來！

? END ?

【專欄】精品再讀