AI圣經(jīng)《苦澀的教訓(xùn)》：AI走過的那段彎路帶來了哪些啟示？ |【經(jīng)緯低調(diào)分享】

此前，一位OpenAI工程師曬出自己的行程計(jì)劃表，其中有一項(xiàng)便是每日必讀《The Bitter Lesson（苦澀的教訓(xùn)）》。這篇文章作者是強(qiáng)化學(xué)習(xí)之父、加拿大計(jì)算機(jī)科學(xué)家理查德·薩頓（ Richard S. Sutton ）。這篇文章確實(shí)是不少AI領(lǐng)域的程序員和工程師的必讀作品，并且時不時被人提起。

為什么2019年的這篇文章依舊具有影響力？這文章的核心內(nèi)容是探討人工智能發(fā)展的歷史和未來方向，強(qiáng)調(diào)一個重要的教訓(xùn)：過去 70 年來，AI 研究走過的最大彎路，就是過于重視人類既有經(jīng)驗(yàn)和知識，而他認(rèn)為最大的解決之道是摒棄人類在特定領(lǐng)域的知識，利用大規(guī)模算力的方法，從而獲得最終勝利。

本文不僅編譯了這篇文章，還梳理了Rich Sutton此前在播客中的對話，發(fā)現(xiàn)了一些對AI行業(yè)非常有意義的看法，如“AI 研究需要重新關(guān)注‘持續(xù)學(xué)習(xí)’ 能力，而不是僅僅追求在固定數(shù)據(jù)集上的性能。”“我們會在未來幾十年內(nèi)完全理解智能的本質(zhì)，這將從根本上改變?nèi)祟悓ψ陨淼睦斫猓砩钸h(yuǎn)的技術(shù)和社會影響。”……以下是 Rich S. Sutton 的觀點(diǎn)，enjoy：

來源丨《The Bitter Lesson》和AI寒武紀(jì)

70 年的人工智能研究中，我們能吸取的最重要的教訓(xùn)是：那些能充分利用計(jì)算能力的通用方法，最終會成為最有效的方法，而且優(yōu)勢巨大。其根本原因在于摩爾定律，或者更廣泛地說，是單位計(jì)算成本持續(xù)呈指數(shù)級下降這一趨勢。大多數(shù)人工智能研究的開展，都仿佛假定智能體可使用的計(jì)算能力是固定不變的（在這種情況下，利用人類知識會成為提升性能的少數(shù)途徑之一）。

但實(shí)際上，只需比一個典型研究項(xiàng)目稍長一點(diǎn)的時間，海量的計(jì)算能力就必然會出現(xiàn)。為了在短期內(nèi)取得可見的改進(jìn)，研究人員往往傾向于利用自己在特定領(lǐng)域的人類知識，然而從長遠(yuǎn)來看，真正重要的是對計(jì)算能力的利用。這兩種方式本不必相互抵觸，但在實(shí)踐中卻常常如此—— 花時間在一種方式上，就意味著無法兼顧另一種。研究人員在心理上會對自己選擇的研究方法產(chǎn)生投入感，而基于人類知識的方法往往會讓技術(shù)變得復(fù)雜，使其難以利用那些能發(fā)揮計(jì)算能力的通用方法。人工智能研究史上有許多例子，都體現(xiàn)了研究者們遲遲才領(lǐng)悟到這一慘痛教訓(xùn)，回顧其中最具代表性的案例會給我們帶來啟發(fā)。

在計(jì)算機(jī)國際象棋領(lǐng)域，1997 年擊敗世界冠軍卡斯帕羅夫的方法，核心是大規(guī)模的深度搜索。當(dāng)時，大多數(shù)計(jì)算機(jī)國際象棋研究者對此深感失望，因?yàn)樗麄円恢敝铝τ诶萌祟悓H象棋特殊結(jié)構(gòu)的理解來設(shè)計(jì)方法。當(dāng)一種更簡單、基于搜索且搭配專用軟硬件的方法展現(xiàn)出壓倒性優(yōu)勢時，這些依賴人類知識的國際象棋研究者卻不愿坦然接受失敗。他們聲稱，“brute force（暴力）” 搜索或許這次贏了，但這并非通用策略，而且這根本不是人類下象棋的方式。這些研究者希望基于人類輸入的方法能獲勝，因此當(dāng)結(jié)果不如所愿時，他們倍感失望。

計(jì)算機(jī)圍棋的研究進(jìn)展也呈現(xiàn)出類似的模式，只是這一過程比國際象棋晚了20 年。起初，研究者們投入巨大精力，試圖通過利用人類知識或圍棋的特殊規(guī)則來避免搜索，但一旦搜索技術(shù)得到大規(guī)模有效應(yīng)用，所有這些努力都變得無關(guān)緊要，甚至適得其反。同樣重要的是，通過自我對弈來學(xué)習(xí)價(jià)值函數(shù)（這一方法在許多其他游戲甚至國際象棋中也有應(yīng)用，盡管在 1997 年首個擊敗世界冠軍的程序中，學(xué)習(xí)并未起到重要作用）。自我對弈學(xué)習(xí)以及廣義上的學(xué)習(xí)，與搜索類似，都能讓海量計(jì)算能力得以發(fā)揮。搜索和學(xué)習(xí)是人工智能研究中利用海量計(jì)算能力的兩類最重要技術(shù)。無論是計(jì)算機(jī)圍棋還是國際象棋，研究者最初都致力于利用人類的理解（以減少對搜索的需求），但直到很久以后，擁抱搜索和學(xué)習(xí)才帶來了更大的成功。

在語音識別領(lǐng)域，20 世紀(jì) 70 年代，美國國防高級研究計(jì)劃局（DARPA）贊助了一場早期競賽。參賽者采用了大量依賴人類知識的特殊方法 —— 涉及單詞、音素、人類聲道等方面的知識。而另一邊則是更新的、更具統(tǒng)計(jì)性質(zhì)的方法，它們基于HMMs，進(jìn)行了多得多的計(jì)算。結(jié)果再次證明，統(tǒng)計(jì)方法戰(zhàn)勝了基于人類知識的方法。這引發(fā)了整個自然語言處理領(lǐng)域的重大變革，數(shù)十年間，統(tǒng)計(jì)和計(jì)算逐漸主導(dǎo)了該領(lǐng)域。近年來深度學(xué)習(xí)在語音識別中的興起，是這一持續(xù)趨勢的最新體現(xiàn)。深度學(xué)習(xí)方法更少依賴人類知識，而是借助更多計(jì)算、結(jié)合對海量訓(xùn)練數(shù)據(jù)的學(xué)習(xí)，打造出性能顯著更優(yōu)的語音識別系統(tǒng)。與游戲領(lǐng)域一樣，研究者們總是試圖讓系統(tǒng)按照他們認(rèn)為人類思考的方式工作 —— 他們努力將這種認(rèn)知植入系統(tǒng)，但最終證明這是徒勞的，甚至是對研究者時間的巨大浪費(fèi)。因?yàn)殡S著摩爾定律的發(fā)展，海量計(jì)算能力變得可用，人們也找到了有效利用這些計(jì)算能力的方法。

計(jì)算機(jī)視覺領(lǐng)域也呈現(xiàn)出類似的模式。早期方法將視覺視為尋找邊緣、廣義圓柱體或基于SIFT 特征的過程，但如今這些都已被摒棄。現(xiàn)代深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)僅運(yùn)用卷積和某些不變性的概念，卻能實(shí)現(xiàn)好得多的性能。

這是一個重要的教訓(xùn)。但我們尚未完全吸取這一教訓(xùn)，因?yàn)槲覀內(nèi)栽诜竿瑯拥腻e誤。要認(rèn)識到這一點(diǎn)并有效避免，我們必須理解這些錯誤的吸引力所在。我們必須吸取這個慘痛的教訓(xùn)：從長遠(yuǎn)來看，將我們自認(rèn)為的思考方式植入系統(tǒng)是行不通的。

這一慘痛教訓(xùn)基于以下歷史觀察：

1）人工智能研究者常常試圖將知識植入智能體；

2）這在短期內(nèi)往往有幫助，也讓研究者個人感到滿足；

3）從長遠(yuǎn)來看，這種做法會導(dǎo)致進(jìn)展停滯，甚至阻礙進(jìn)一步發(fā)展；

4）最終的突破性進(jìn)展往往來自相反的方法 —— 通過搜索和學(xué)習(xí)來擴(kuò)展計(jì)算能力。這種最終的成功往往帶著苦澀，且常常未被充分理解，因?yàn)樗菍κ芮嗖A的、以人類為中心的方法的超越。

從這一慘痛教訓(xùn)中，我們應(yīng)該認(rèn)識到通用方法的巨大力量—— 這些方法能隨著計(jì)算能力的增強(qiáng)而持續(xù)擴(kuò)展，即便可用計(jì)算能力變得非常強(qiáng)大。在這方面，似乎能無限擴(kuò)展的兩種方法是搜索和學(xué)習(xí)。

從這一慘痛教訓(xùn)中可以得出的第二個普遍觀點(diǎn)是：人類思維的實(shí)際內(nèi)容極其復(fù)雜，且難以簡化。我們應(yīng)該停止試圖尋找理解思維內(nèi)容的簡單方法，比如關(guān)于空間、物體、多智能體或?qū)ΨQ性的簡單思考方式。所有這些都是復(fù)雜多變、本質(zhì)上就極為復(fù)雜的外部世界的一部分。它們不應(yīng)該被植入系統(tǒng)，因?yàn)槠鋸?fù)雜性是無窮無盡的；相反，我們應(yīng)該植入的僅僅是那些能夠發(fā)現(xiàn)和捕捉這種復(fù)雜多變性的元方法。這些方法的關(guān)鍵在于，它們能找到良好的近似，但對近似的搜索應(yīng)該由這些方法自主完成，而不是由我們來做。我們希望人工智能體能夠像我們一樣去發(fā)現(xiàn)，而不是包含我們已經(jīng)發(fā)現(xiàn)的東西。將我們的發(fā)現(xiàn)植入系統(tǒng)，只會讓我們更難理解發(fā)現(xiàn)過程本身是如何實(shí)現(xiàn)的。

人工智能新道路：與Rich Sutton的對話

以下對話來自于加拿大阿爾伯塔大學(xué)（University of Alberta） 機(jī)器智能研究所與強(qiáng)化學(xué)習(xí)傳奇人物

Rich Sutton

共同錄制的播客，分享了關(guān)于“持續(xù)學(xué)習(xí)與深度學(xué)習(xí)”、“目標(biāo)與心智”等觀點(diǎn)，并給出了自己的研究建議。

主持人A:Rich，非常感謝你做客我們的播客“大約正確”。我們一直想邀請你，今天終于實(shí)現(xiàn)了，真是太好了！

Rich Sutton:謝謝Scott，很榮幸來到這里。

主持人B:我們之前在播客中討論過幾次強(qiáng)化學(xué)習(xí)，但我們很想知道強(qiáng)化學(xué)習(xí)的哪些方面吸引了你？你為什么開始研究這個領(lǐng)域？

Rich Sutton:我一直對與世界互動并從中學(xué)習(xí)的系統(tǒng)很感興趣，而強(qiáng)化學(xué)習(xí)正是如此。它需要一個目標(biāo)，我們將其形式化為獎勵。但令人驚訝的是，回溯人工智能的發(fā)展，從我70年代開始研究人工智能以來，很少有研究關(guān)注系統(tǒng)與世界互動、從中學(xué)習(xí)并實(shí)現(xiàn)目標(biāo)。即使在早期控制論、模式識別和監(jiān)督學(xué)習(xí)中，這些系統(tǒng)也沒有目標(biāo)，它們只是試圖識別模式。模式識別是智能的重要組成部分，但它并不會為了目標(biāo)而與世界互動。所以，這方面一直讓我覺得有所缺失。當(dāng)我開始研究時，并沒有強(qiáng)化學(xué)習(xí)這個領(lǐng)域，是我們創(chuàng)造了它，因?yàn)楫?dāng)時沒有人做這方面的研究。

主持人A:你是否記得某個時刻，讓你突然意識到“啊，我想研究這個以目標(biāo)為導(dǎo)向的方向”？

Rich Sutton:這是一個逐漸形成的想法。我們研究了人們研究過的所有不同領(lǐng)域，比如模式識別、控制理論等等，一直在尋找“在哪里可以找到一個系統(tǒng)，它試圖做某事并從中學(xué)習(xí)”。那時有老虎機(jī)問題（Bandits），你可以反復(fù)執(zhí)行某個動作直到獲得最大獎勵，但這已經(jīng)是最接近的了，它們并沒有類似“我記得在這種情況下我應(yīng)該這樣做，在那種情況下我應(yīng)該那樣做，以便實(shí)現(xiàn)我的目標(biāo)”的機(jī)制。

主持人B:老虎機(jī)問題本質(zhì)上是無狀態(tài)的，對吧？你只是反復(fù)做同一件事。

Rich Sutton:是的，它是無狀態(tài)的。

主持人A:你認(rèn)為為什么人工智能會從預(yù)測開始？

Rich Sutton:根據(jù)我對歷史的理解，它并不是真正從預(yù)測開始的。我認(rèn)為早期研究者一開始就想讓系統(tǒng)通過互動來實(shí)現(xiàn)目標(biāo)。后來他們倒退回模式識別，因?yàn)槟Ｊ阶R別更清晰、更簡單。然后他們逐漸忘記了一些最早期的研究，比如1954年Farley和Clark的研究，他們討論了試錯學(xué)習(xí)。后來，試錯學(xué)習(xí)逐漸變成了監(jiān)督學(xué)習(xí)，成了一條更清晰的前進(jìn)道路。

主持人B:這是一種簡化。

Rich Sutton:是的，一直以來都是如此。很抱歉從這么早的歷史開始。

01

主持人A:沒關(guān)系，這很有趣，打好基礎(chǔ)很重要。而且邀請你的好處之一就是你還記得這些事情。讓我們回到現(xiàn)在，你目前在強(qiáng)化學(xué)習(xí)領(lǐng)域思考哪些問題？哪些方面讓你感興趣？

Rich Sutton:我只能通過談?wù)撜麄€人工智能領(lǐng)域來描述它，談?wù)勅斯ぶ悄苤姓诎l(fā)生什么、沒有發(fā)生什么以及需要發(fā)生什么。我仍然認(rèn)為人工智能是與世界互動以實(shí)現(xiàn)目標(biāo)。我想這意味著我們在談?wù)搹?qiáng)化學(xué)習(xí)。但如果你只是為了實(shí)現(xiàn)目標(biāo)而與世界互動，那么你就必須建立一個世界模型，你必須有一個目標(biāo)，你必須在多個時間尺度上對世界進(jìn)行建模，你必須學(xué)習(xí)理解世界的正確結(jié)構(gòu)、特征和概念。我還沒提到你必須嘗試不同的事情，看看哪些有效，這就是強(qiáng)化學(xué)習(xí)的起點(diǎn)。我想說，多年來，我們已經(jīng)開發(fā)出了很好的線性映射方法。如果你需要學(xué)習(xí)線性關(guān)系，那么我們做得很好，我們可以在線學(xué)習(xí)，可以持續(xù)學(xué)習(xí)。

主持人B:你能舉一個線性關(guān)系的例子嗎？哪些情況下線性關(guān)系很有效？

Rich Sutton:所有算法實(shí)際上都是為線性情況定義的，對于非線性情況，你會得到線性TD Lambda、非線性TD Lambda、Q學(xué)習(xí)，它們都有線性版本。線性版本學(xué)習(xí)速度很快，并且可以隨著世界的變化而適應(yīng)，但它們無法學(xué)習(xí)非線性映射，無法學(xué)習(xí)異或，無法學(xué)習(xí)新的特征。1986年我們發(fā)現(xiàn)了反向傳播算法，我們開始能夠?qū)W習(xí)非線性映射。但這就像一個惡魔的選擇，當(dāng)我們想學(xué)習(xí)非線性事物時，我們不得不放棄快速變化和持續(xù)學(xué)習(xí)的能力。

主持人A:你必須放棄嗎？我的意思是，我不認(rèn)為你應(yīng)該放棄。

Rich Sutton:最初發(fā)現(xiàn)的方法無法持續(xù)學(xué)習(xí)。它們能夠?qū)W習(xí)非線性事物，這太令人興奮和強(qiáng)大了，以至于我們?yōu)榱藢W(xué)習(xí)非線性映射而放棄持續(xù)學(xué)習(xí)的能力，這是一個很好的權(quán)衡。

主持人B:這是一個很好的權(quán)衡，但我們堅(jiān)持得太久了。

Rich Sutton:而且，不知何故，我覺得這個領(lǐng)域的美學(xué)已經(jīng)改變了，這個領(lǐng)域想要專注于他們能做什么，而不是注意到他們不能做什么。

主持人A:你認(rèn)為這是什么原因造成的？

Rich Sutton:原因很簡單，我們能做某些事情，所以我們就會去做這些事情。所有的深度學(xué)習(xí)都是關(guān)于“我們能用數(shù)據(jù)集做什么？我們從中學(xué)習(xí)，然后凍結(jié)我們學(xué)習(xí)到的系統(tǒng)，然后在世界上運(yùn)行它”。ChatGPT根本不學(xué)習(xí)，但構(gòu)建它需要大量的學(xué)習(xí)。我們在語言方面取得了驚人的成就，但我們不得不放棄持續(xù)學(xué)習(xí)的能力。在正常使用過程中，ChatGPT并不會學(xué)習(xí)。這是對研究人員的考驗(yàn)：他是想看看我們不能做什么并努力解決這個問題，還是想看看我們能做什么并繼續(xù)深入研究？這就像在路燈下找鑰匙的問題：我丟了鑰匙，我會在路燈下找，因?yàn)槟抢锸俏夷芸吹降牡胤剑M管那可能不是鑰匙所在的地方。我認(rèn)為做所有不同的事情都沒問題，但我認(rèn)為重要的觀察是，這個領(lǐng)域絕大多數(shù)都朝著一個方向發(fā)展，朝著……

主持人A:所以以至于如果你想說“我們有一些事情做不到”，你會受到強(qiáng)烈反對。他們會說：“是的，但我們可以做所有這些其他事情，所以不要批評我們。”

Rich Sutton:是的，我認(rèn)為這是一個很大的影響。在早期，機(jī)器學(xué)習(xí)更加開放，“這是一個有趣的問題，讓我們試試”。然后，在某個時候，深度學(xué)習(xí)……這個領(lǐng)域進(jìn)入了一個階段，除非你做一些復(fù)雜的事情，比如Atari游戲，否則你無法發(fā)表論文。你有一些新想法？它在大問題上是如何工作的？我認(rèn)為這種情況正在逐漸緩解，人們對我們不能做什么更感興趣了，關(guān)于持續(xù)學(xué)習(xí)的整個事情正是現(xiàn)在更容易被接受的研究方向。

主持人B:你能定義一下什么是持續(xù)學(xué)習(xí)嗎？

Rich Sutton:持續(xù)學(xué)習(xí)就是持續(xù)學(xué)習(xí)，而不是在工廠里學(xué)習(xí)，然后當(dāng)你進(jìn)入世界時就被凍結(jié)。有時我會嘗試尋找,如果我們有持續(xù)學(xué)習(xí)，這幾乎是正常的，那么什么應(yīng)該是不正常的呢？不正常的，我試著稱之為“短暫學(xué)習(xí)”（transient learning）。深度學(xué)習(xí)所做的就是短暫學(xué)習(xí)，你在一個特殊的階段學(xué)習(xí)，然后學(xué)習(xí)就結(jié)束了，你再也不會學(xué)習(xí)了。這就是短暫學(xué)習(xí)，這是不尋常的。

主持人A:片段式學(xué)習(xí)（episodic learning）？

Rich Sutton:我不能用這個詞，因?yàn)閺?qiáng)化學(xué)習(xí)以一種非常特殊的方式使用“片段”這個詞。

主持人B:這確實(shí)讓我覺得很合理。我的意思是，想想我們是如何學(xué)習(xí)的，我不會每天回家后就忘記我所做的一切。每當(dāng)我獲得新信息時……

主持人A:也許不好的日子會忘記。

主持人B:所以我很想知道，為什么這沒有成為默認(rèn)的學(xué)習(xí)方式？

Rich Sutton:它從一開始就是默認(rèn)的，只是在最近幾十年里，我們陷入了這種群體思維，我們都以一種特定的方式思考。我喜歡這樣想：我們試圖創(chuàng)造什么？我們試圖創(chuàng)造一個固定且表現(xiàn)非常好的系統(tǒng)嗎？我們的最終產(chǎn)品會是能夠隨著遇到新事物而繼續(xù)學(xué)習(xí)的東西嗎？當(dāng)你每天來上班時，你會想“我真的很棒，我只需要做同樣的事情”嗎？還是你會想“他們付我錢是因?yàn)槲铱梢赃m應(yīng)發(fā)生的事情，我可以靈活地學(xué)習(xí)新事物”？

主持人A:大多數(shù)時候，我不知道。兩者都很重要。

Rich Sutton:但適應(yīng)性對我來說似乎總是很重要。硬性智能……智能是一種策略，還是一種適應(yīng)任何情況的能力？

主持人B:當(dāng)我們試圖構(gòu)建這些可以持續(xù)學(xué)習(xí)的系統(tǒng)時，面臨哪些挑戰(zhàn)？

Rich Sutton:這是你問我的第一個問題，你問我“現(xiàn)在最令人興奮的事情是什么？”，然后我開始長篇大論……這個領(lǐng)域已經(jīng)做出了這種權(quán)衡：他們可以做非線性的事情，但前提是他們放棄持續(xù)學(xué)習(xí)。這是該領(lǐng)域非常強(qiáng)烈的趨勢，它取得了巨大的成功，我對此毫不介意。我介意的是，他們沒有給研究其他方向留下空間。但我是一個成功的學(xué)者，而且我老了，我可以做我想做的任何事情。所以我要去做我真正認(rèn)為最重要的事情，即使沒有其他人認(rèn)為它重要。我認(rèn)為是時候……早就應(yīng)該有人弄清楚如何進(jìn)行持續(xù)的非線性學(xué)習(xí)了。在我看來，這些根本不應(yīng)該相互對立。我正在以一種特定的方式進(jìn)行研究，專注于在線學(xué)習(xí)和單一任務(wù)，就像世界在逐漸變化，你必須不斷地跟隨它，并在這種環(huán)境中學(xué)習(xí)。我只是想填補(bǔ)這個空白，我們應(yīng)該能夠進(jìn)行非線性學(xué)習(xí)，并且仍然完全持續(xù)學(xué)習(xí)。

主持人B:為什么我們不能？是什么阻礙了我們？

Rich Sutton:我們創(chuàng)造了所有這些專門的東西來使短暫學(xué)習(xí)工作得很好，比如回放緩沖區(qū)，我們進(jìn)行歸一化的方式，以及像提前停止。我們已經(jīng)開發(fā)了大量的技術(shù)和技巧來使短暫學(xué)習(xí)工作，所以這阻礙了對網(wǎng)絡(luò)進(jìn)行持續(xù)學(xué)習(xí)，因?yàn)椤悴粫贗mageNet上做得很好，因?yàn)镮mageNet是標(biāo)準(zhǔn)基準(zhǔn)測試，它是為短暫情況設(shè)計(jì)的。你不會馬上在Atari游戲上做得很好，因?yàn)槲覀冮_發(fā)了所有這些定制方法，使Atari游戲在短暫學(xué)習(xí)方法下工作得很好。方法不同，問題也不同。你不能只是介入并在標(biāo)準(zhǔn)問題上做得更好，因?yàn)樗袠?biāo)準(zhǔn)問題都是為短暫情況設(shè)計(jì)的。

主持人A:所以聽起來你好像在說，是時候退一步，看看更大的圖景，而不是這些狹隘的解決方案了。

Rich Sutton:絕對是這樣。你也可以從另一個角度說，人們沒有意識到這有多重要，這意味著當(dāng)它被解決時，它將是一個更大、更重要的成果。如果你能負(fù)擔(dān)得起，做一個反向者是件好事。就像我說的，我很幸運(yùn)，我可以做我想做的工作。讓我告訴你我對它的真實(shí)感受……我原以為我在說實(shí)話，我原以為其他人會做這件事。當(dāng)我還是博士生時，我的同學(xué)Charles Anderson，也是Van Bardo的學(xué)生，他做了非線性部分，我要做強(qiáng)化學(xué)習(xí)的特定部分，然后我們會把它們放在一起，這會很好。

然后我很失望，40年過去了，這些人還沒有解決這個問題。相反，非線性學(xué)習(xí)轉(zhuǎn)向了離線短暫學(xué)習(xí)，他們沒有給我提供我可以用來學(xué)習(xí)策略、學(xué)習(xí)價(jià)值函數(shù)、學(xué)習(xí)世界模型、學(xué)習(xí)世界轉(zhuǎn)移模型的方法。他們沒有弄清楚表征學(xué)習(xí)，他們沒有弄清楚“讓我們弄清楚什么是世界的正確表征，那些能夠很好地泛化的表征，讓我現(xiàn)在就能快速學(xué)習(xí)”。這絕對是強(qiáng)化學(xué)習(xí)，我想說也是人工智能前進(jìn)的瓶頸。我們沒有能夠持續(xù)學(xué)習(xí)的方法，除了線性情況。我們沒有找到好的表征的方法……我們總是要與傲慢作斗爭，因?yàn)榘谅龝p害你看到真相的能力。但我所說的有點(diǎn)傲慢，我說“我給了這些人40年的時間來解決這個問題，他們沒有做到，現(xiàn)在我不得不自己做”。這大致上就是我所說的，這非常傲慢，至少第二部分是這樣，我就能在幾年內(nèi)做好。我的意思是，我已經(jīng)思考了很長時間，我真的希望我不必做這件事，這太遺憾了。

主持人A:我的意思是，他們已經(jīng)奠定了一些基礎(chǔ)，對吧？他們所做的工作并非完全無用，它會幫助你。

Rich Sutton:也許你只是出于禮貌，但我感覺它不是基礎(chǔ)，它實(shí)際上是偏離解決方案的。它使得做正確的事情變得更加困難，因?yàn)樗麄儧]有說“這是一個我們需要解決的問題”，他們說我們已經(jīng)完成了關(guān)于學(xué)習(xí)表征的反向傳播論文，他們認(rèn)為這是如何學(xué)習(xí)表征的解決方案。但是，表征不應(yīng)該是一般的，并且在許多情況下都有用嗎？然后無論你需要做什么，你都在它上面學(xué)習(xí)一個線性映射。

主持人B:我同意這一點(diǎn)。

Rich Sutton:我認(rèn)為他們認(rèn)為反向傳播可以學(xué)習(xí)到好的表征。

主持人B:啊，好吧，我同意你，我不這么認(rèn)為。

Rich Sutton:啊，好吧，有趣。或者他們說這使得其他人更難說“這是一個未解決的問題，我要研究它”。他們說：“不，不，反向傳播已經(jīng)解決了這個問題，如果你要研究它，你最好在反向傳播附近工作，并證明你比它更好。”

主持人B:那么表征有什么問題呢？他們沒有做什么？

Rich Sutton:反向傳播只是梯度下降，梯度下降中沒有任何東西會驅(qū)動學(xué)習(xí)系統(tǒng)找到能夠很好地泛化的特征。它只是找到解決現(xiàn)有問題的特征。

主持人B:所以這不是反向傳播的問題，而是反向傳播試圖解決的目標(biāo)的問題，損失函數(shù)的問題。

Rich Sutton:所以聽起來只是在說服人們我們沒有正確的解決方案。

Rich Sutton:你可以這樣做，這是一種失敗的方法。你說：“沒有人研究這個，我必須首先說服人們這是正確的事情，然后我再研究它。” 但是，你會把所有時間都花在說服別人上，你永遠(yuǎn)不會真正地研究它，所以你永遠(yuǎn)不會真正地成功。其他人會說：“看，他說我們需要做這件事，但他沒有取得任何進(jìn)展。” 浪費(fèi)時間試圖說服其他人去做你認(rèn)為重要的事情是一個很好的失敗方法。

主持人B:那么有什么替代方案呢？

Rich Sutton:你必須是一個反向者，并且真正去做。你可以花一些時間試圖說服其他人，如果你希望發(fā)表論文，你必須這樣做。

主持人A:但在某種程度上，這就是我們在非線性環(huán)境中的朋友們所做的，對吧？他們忽略了所有人長達(dá)十年左右的時間，而所有人都告訴他們，他們所做的事情沒有任何原則。每個人都熱愛他們有原則的統(tǒng)計(jì)機(jī)器學(xué)習(xí)，而他們一直在埋頭苦干。

Rich Sutton:是的，但他們總是有好的結(jié)果，他們總有一些可以指出的進(jìn)步。

主持人A:“總是”這個詞說得太絕對了。我記得在我研究生早期，深度學(xué)習(xí)周圍肯定有很多噪音

主持人B:是的，而且人們?nèi)匀徽J(rèn)為這很愚蠢。

主持人A:所以，無論如何，也許應(yīng)該贊揚(yáng)他們堅(jiān)持了下來。

Rich Sutton:這是關(guān)于荒野的故事。神經(jīng)網(wǎng)絡(luò)在荒野中度過了它們的十年，所以沒有人認(rèn)為它好。所以我想我說的是，持續(xù)學(xué)習(xí)在荒野中度過了它的十年，現(xiàn)在它開始被接受了

主持人A:這很好。

Rich Sutton:一切都會回歸，科學(xué)中的所有這些問題都是自我糾正的。

主持人A:但它們真的是這樣嗎？這需要有人來決定，對吧？科學(xué)本身就是其中的人，所以只有當(dāng)有人做出決定時，它才會自我糾正，而且這可能需要很長時間。

Rich Sutton:好吧，我認(rèn)為我們應(yīng)該爭取在2030年之前

主持人A:知道我們可能不會成功，但你必須嘗試。

Rich Sutton:當(dāng)我們說“成功”時，指的是什么？理解大腦如何工作？

主持人A:理解一個系統(tǒng)如何通過試錯，通過嘗試不同的事情來學(xué)習(xí)，建立一個世界模型，以便我們能夠理解世界，它可以找到?jīng)Q策的支點(diǎn)。我應(yīng)該去參加這個演講還是那個演講？我應(yīng)該去洗手間嗎？我應(yīng)該喝一口茶嗎？所有這些……你知道，你必須找到這些選擇，生活中存在著低級的選擇，但你必須找到生活中 meaningful 的選擇。所有這些都涉及到一個模型。所以要求我們通過試錯來學(xué)習(xí)，并建立一個我們世界的模型，并能夠使用該模型進(jìn)行計(jì)劃，這并不過分。這就是我認(rèn)為構(gòu)成心智的一系列事情。

主持人B:我認(rèn)為人類獨(dú)有的特性是能夠同時擁有多個目標(biāo)。我有很多事情要做，我可以把你煩死，告訴你我現(xiàn)在正在做的所有事情。你知道，我們都有我們正在做的事情，我們有家庭，我們有事業(yè)，我們有朋友，我們有愛好，所有這些事情都相互疊加。每天我們都決定我們的目標(biāo)是什么，我們今天要做什么。有時它會讓我們朝著更大的目標(biāo)前進(jìn)，有時只是星期天，沒關(guān)系。

主持人A:是的。你必須找到平衡點(diǎn)才能保持……有時就像紙牌屋一樣。

主持人B:但我想到像動物，動物的目標(biāo)是什么？也許它們目標(biāo)的復(fù)雜性更低。

Rich Sutton:它們也更少地與某種內(nèi)部獎勵有關(guān)，對吧？

主持人B:我不反對你的觀點(diǎn)。

02

Rich Sutton:但我認(rèn)為，只有一個目標(biāo)和有很多目標(biāo)都是正確的。我相信獎勵假設(shè)，即所有目標(biāo)尋求都可以被很好地理解為最大化單個標(biāo)量外部接收信號

主持人B:是的。

Rich Sutton:這是實(shí)現(xiàn)目標(biāo)的一部分……我們?yōu)樽约禾岢隽嗽S多子問題，比如我有一個子問題：我如何拿起我的茶并成功地把它送到我的嘴里而不灑出來？所有這些都是對我們解決整體目標(biāo)真正有用的子問題。所以我認(rèn)為子任務(wù)、子問題是解決單個總體問題的解決方法。所以這讓我兩者兼得，我有一個目標(biāo)，但我的大腦里充滿了“這會讓我做到嗎？那會讓我做到嗎？我必須學(xué)習(xí)所有這些獨(dú)立的事情，并學(xué)習(xí)每個問題的解決方案，然后……然后我的生活將充滿‘我決定暫時致力于那個目標(biāo)’，這將驅(qū)使我最終到達(dá)某個地方，然后我可以致力于另一個目標(biāo)。”

主持人B:所以你把目標(biāo)看作是子問題，所有這些不同的目標(biāo)，有點(diǎn)像創(chuàng)造這些子目標(biāo)

Rich Sutton:創(chuàng)造它們，絕對是提出它們。博士學(xué)位，我想獲得博士學(xué)位，我想獲得終身教職，我想……

主持人B:在這種情況下，什么是所有這些子目標(biāo)的單一目標(biāo)？

Rich Sutton:單一目標(biāo)將是獎勵。我們并不真正知道人們的獎勵是什么，但它就像快樂和痛苦，也許還有人們對你的態(tài)度，來自其他人的尊重。獎勵假設(shè)的驚人之處在于，有一個微小的標(biāo)量值，你正試圖最大化它，它是一個低級的東西，它就像一個數(shù)字在每個時刻進(jìn)入你的大腦，它在下丘腦中計(jì)算，然后從中產(chǎn)生了“我想組建家庭，我想擁有一個成功的研究科學(xué)家職業(yè)”等等。從一個不抽象的東西中產(chǎn)生了非常抽象的目標(biāo)和非常抽象的概念。曾經(jīng)有一段時間，這太不可思議了，以至于說出來會很尷尬。但現(xiàn)在這應(yīng)該很直白了，我們已經(jīng)多次看到這種情況發(fā)生。你知道，AlphaGo學(xué)會了下圍棋，它擁有所有圍棋中需要的抽象概念。學(xué)會了下國際象棋，它擁有國際象棋中所有需要的抽象概念。或者像語言模型，它讓我大吃一驚，它從這個簡單得多的問題中學(xué)到了什么。“哦，我的天哪，下一個詞”。

主持人B:是的，從微小的事物中可以產(chǎn)生非常抽象的東西。

Rich Sutton:是的

主持人B:好吧，這是一個令人信服的故事。我得承認(rèn)，當(dāng)你這樣說的時候，我也覺得有點(diǎn)心理上不舒服。

主持人A:我承認(rèn)，這讓你覺得自己沒有你想象的那么復(fù)雜。

Rich Sutton:是的。在這幾十年里，我們將要學(xué)習(xí)，我們將要更好地理解心智，我認(rèn)為這不會都是舒服的。我認(rèn)為不舒服的事實(shí)實(shí)際上讓我覺得我們正在取得進(jìn)展，我們正在更好地理解事物。

主持人A:我們不僅僅是在尋找我們想要相信的真相，而是在尋找真正的真相。

Rich Sutton:你想想，要創(chuàng)造一個想要做某事的人，比如成為一名研究科學(xué)家，是不可能的。進(jìn)化是如何讓你擁有這個目標(biāo)的？這是不可想象的，而且行不通。它必須給你一個它可以感知的目標(biāo)，一個具體的目標(biāo)。

主持人A:這讓我們回到了心理上的不適。

Rich Sutton:將會出現(xiàn)其他智能體，我們將理解它們是如何工作的，它們只是試圖讓這個數(shù)字更高，這很有趣。

主持人B:所以你說你認(rèn)為我們會在未來六年內(nèi)理解這一點(diǎn)？

Rich Sutton:不，我有一個預(yù)測，到2030年有四分之一的可能性我們會理解，這將是模糊的，但基本上我們會理解智能。這并不意味著我們將理解人類的心智，這將需要更長的時間。我們將理解如何通過試錯學(xué)習(xí)來實(shí)現(xiàn)目標(biāo)，如何建立一個世界模型，使你能夠在多個抽象層次上進(jìn)行計(jì)劃，并且做到這一點(diǎn)沒有重大差距。你知道，它將學(xué)習(xí)好的表征，學(xué)習(xí)很好地泛化。它將是一個神經(jīng)網(wǎng)絡(luò)，只是某種不同的算法。

主持人A:它將有一個獎勵。世界是什么？

Rich Sutton:世界是我們與之互動的東西。我們向它發(fā)送比特，它向我們的眼睛等發(fā)送比特。

主持人A:但你指的是所有這一切，還是指某個構(gòu)建的世界？

Rich Sutton:我認(rèn)為世界是被構(gòu)建的，盡管……我們向世界發(fā)送比特，它向我們發(fā)送比特。我們從這個我們向其發(fā)送比特并從中接收比特的東西中理解世界

主持人A:所以你說的是任何世界？

Rich Sutton:任何世界，是的。

主持人A:能夠建立模型，轉(zhuǎn)移模型，這樣你就能計(jì)劃。

Rich Sutton:如果你能計(jì)劃，并且你也能通過試錯學(xué)習(xí)，這就是我認(rèn)為的心智。

主持人A:如果你的預(yù)測是真的，就像你說的，我認(rèn)為你說的是到2030年有四分之一的機(jī)會。

Rich Sutton:到2040年有二分之一的機(jī)會。

主持人A:那意味著什么？這將如何改變現(xiàn)狀？

Rich Sutton:我們將理解心智是如何工作的。這將幫助我們理解我們自己的心智。人工智能研究人員將在更詳細(xì)的層面上理解它，它將逐漸滲透到社會，滲透到世界的意識中。我們會感到不舒服，然后會逐漸適應(yīng)。這將帶來技術(shù)變革，它將改變經(jīng)濟(jì)。我不確定哪一個更重要，社會學(xué)上的還是技術(shù)上的。無論如何都會有很多技術(shù)變革，即使沒有理解心智也是如此。但我認(rèn)為這將真正改變我們，因?yàn)樗鼘ⅰ覀儗⒏玫乩斫馕覀冏约海@也許是重點(diǎn)。所以我認(rèn)為這將是非常深刻的，完全獨(dú)立于它對經(jīng)濟(jì)的影響，它對地緣政治的影響。

主持人A:你認(rèn)為如果我們更好地理解它，它會影響我們教學(xué)的方式，我們教育人們的方式嗎？

Rich Sutton:是的，完全會。一個很大的變化將是增強(qiáng)。如果我們理解我們的大腦是如何工作的，那么我們應(yīng)該能夠添加比如更好的記憶力。我想被增強(qiáng)，我想更好地思考，我想數(shù)字基質(zhì)相對于生物基質(zhì)有很多優(yōu)勢。所以我們可以變得更好，有很多事情因?yàn)槲覀儾恢雷约菏侨绾喂ぷ鞯亩蛔璧K了。正如我所說，理解心智與理解人類心智不同，與理解人類大腦不同，那將需要更長的時間。

主持人A:你是心理學(xué)家，你處于神經(jīng)科學(xué)的邊緣，你如何看待像Neuralink這樣的腦機(jī)接口？

Rich Sutton:我的意思是，我看到了很多它們可以提供幫助的地方。我認(rèn)為我們離大多數(shù)人覺得這是他們想要的東西還很遠(yuǎn)。我認(rèn)為這可能不是2040年的事情。

03

主持人A:我想這是我們給你的最后一個問題：你對學(xué)生或其他嶄露頭角的研究人員有什么關(guān)于研究的建議嗎？如何選擇研究方向，如何取得良好的進(jìn)展？

Rich Sutton:是的，我想我有一些。準(zhǔn)備一個研究筆記本，每天都寫，寫下你的想法，并思考你的想法，試著挑戰(zhàn)它們，讓它們變得更好。如果你想讓其他人對你所想的感興趣，那么你應(yīng)該首先自己關(guān)心它，你應(yīng)該至少關(guān)心到把它寫下來，挑戰(zhàn)它，發(fā)展它，推進(jìn)它。這是最重要的。我偶然發(fā)現(xiàn)了這個策略，它改變了我的整個軌跡。這真的很難做到，因?yàn)樗且粡埌准垼阒溃阌惺裁匆f的？也許你對你正在想的事情感到困惑。一個有幫助的想法是，通常情況下，寫下你的想法的價(jià)值與它們的模糊和混亂程度成正比。

主持人A:價(jià)值與寫下它們的難度成正比。

Rich Sutton:如果你說：“我甚至不知道如何……我同時在想六件事，我不可能把這些寫下來。” 這就是當(dāng)你寫下一些東西時，它將超級有價(jià)值的時候。

主持人A:這是你知道你真的想追求一個想法的方式嗎？這是一個標(biāo)志嗎？

Rich Sutton:不，這將是可怕的。你正試圖向自己解釋清楚你在想什么。如果你想不出其他要寫的東西，就寫下“我認(rèn)為我腦子里盤旋著的六個有趣的想法是什么？” 然后把它們寫下來，一到六。然后說：“好吧，這就是全部嗎？還有第七個嗎？” “這六個中，有兩個真的是一樣的嗎？” 或者對這六件事中的每一件再寫一段，解釋你是什么意思，向自己解釋你的想法是什么。僅僅通過這樣做，你就會說：“現(xiàn)在，當(dāng)我試圖解釋它時，這個想法就消失了。你知道，也許它什么都不是。” 或者，也許它在你寫下它的時候成長和改變了。所有這些事情都會發(fā)生，所以重要的是堅(jiān)持寫下去。試著每天寫一頁，不要太 stressed，但要定期寫下去。這是我的建議。

第二個建議是，你應(yīng)該盡量對流行的東西保持中立。你知道，如果它流行或不流行，那不應(yīng)該影響你，因?yàn)槿绻餍校敲囱芯克鼤菀祝驗(yàn)槿藗儠斫馑膬r(jià)值會更低，因?yàn)槊總€人都在做。所以你應(yīng)該保持中立，選擇你認(rèn)為重要且可能富有成果的問題。

主持人A:你有什么建議來決定我接下來應(yīng)該做什么嗎？

Rich Sutton:是的，所以就像我寫下這六件事，“我認(rèn)為這六件事很有趣”，然后解釋它們。然后我回過頭來說：“好吧，現(xiàn)在讓我們試著說，我現(xiàn)在可以研究哪一件？”

主持人A:如果有三件呢？

Rich Sutton:把它們寫下來，繼續(xù)下去，直到只剩下一件……

主持人A:哦，不，不

Rich Sutton:這是一個好問題。我并不是說你找到一件事就去做，你必須做一些事情，因?yàn)檫@是研究，大多數(shù)事情不會馬上成功。

主持人A:聽起來你可能用過很多筆記本。

Rich Sutton:我大概有25本，在我停止使用實(shí)體筆記本的時候。現(xiàn)在我只是在我的MacBook上寫。

主持人A:你有沒有回去重溫它們？

Rich Sutton:不像你想的那么頻繁。

主持人A:是的

Rich Sutton:但你確實(shí)會不時地這樣做。現(xiàn)在它都在電腦上，我可以搜索并更容易地找到這些東西

主持人A:我想我們就到這里了，除非你還有什么想談的，而我們沒有談到的。

Rich Sutton:非常感謝你給我這個機(jī)會。我學(xué)到了很多，并不都是舒服的，正如我們所指出的，但都很有趣。

主持人A:非常感謝你，Rich。

Rich Sutton:謝謝。

把商業(yè)當(dāng)作一場“無限游戲”，盡可能確保自己別出局。經(jīng)緯創(chuàng)投想用“問診”的方式，為創(chuàng)業(yè)者搭建一個持續(xù)生長、沒有終點(diǎn)的互助場域，希望為大家?guī)砬袑?shí)的啟發(fā)與支持。9月10日-11日，經(jīng)緯問診第二場出發(fā)，開啟一場直達(dá)問題核心和靈魂深處的問診對談。

戳原文鏈接或掃描下方二維碼立即報(bào)名