李飛飛經(jīng)典對話AI教父Hinton 2.5萬字全記錄 （全文+視頻）

未經(jīng)許可不得轉(zhuǎn)載，務(wù)必保留原文出處鏈接和公眾號按鈕

文：天空之城·城主

最近幾天，AI教父Hinton的一個(gè)關(guān)于AI本質(zhì)認(rèn)知的高屋建瓴的訪談?dòng)兄軓V泛的傳播：

而被譽(yù)為AI教母的李飛飛近期也備受關(guān)注，她創(chuàng)立了空間智能公司，并在TED做了演講：

在2023年底，Hinton和李飛飛有過一次經(jīng)典的同臺(tái)對話，110分鐘干貨滿滿，現(xiàn)在回頭看來，這是AI界具有歷史地位的兩位大咖重要的面對面時(shí)刻。

這唯一的一次同臺(tái)深度訪談，中文世界當(dāng)時(shí)似乎沒給予應(yīng)該的關(guān)注（和很快發(fā)生了OpenAI宮變大新聞?dòng)嘘P(guān)系）。錯(cuò)過這次訪談是有點(diǎn)可惜的，信手引用本城B站一位粉絲的留言：

這是一個(gè)回顧人工智能大爆發(fā)過程的對話訪談節(jié)目?？催^以后，才了解斯坦福李飛飛為什么那么有名。她敢走，敢能走自己選擇的這條路，再度闡名西方自從文藝復(fù)興以來，為什么科學(xué)有長足的進(jìn)步

簡而言之，這是一次不容錯(cuò)過的深訪，本城特此整理，訪談全文書面版約2.5萬字和重制視頻，這里和讀者分享：

B站傳送：【精?！坷铒w飛對話AI教父Hinton 110分鐘完整版 2023.10.7【中英】-嗶哩嗶哩】

https://b23.tv/tTXWx9g

主持人：

我們希望這將是一場非常有趣的討論。這是他們第一次公開在一起。所以，我認(rèn)為這將是一個(gè)非常有趣的對話。

讓我快速對他們的背景做一些更深入的解釋。Geoffery經(jīng)常被稱為人工智能教父。他獲得了圖靈獎(jiǎng)。他是多倫多大學(xué)名譽(yù)教授、Vector Institute聯(lián)合創(chuàng)始人，還指導(dǎo)了許多后來成為全球人工智能領(lǐng)導(dǎo)者的人，包括大公司和許多世界頂級學(xué)術(shù)研究實(shí)驗(yàn)室的領(lǐng)導(dǎo)者。所以當(dāng)我們說教父時(shí)，確實(shí)如此，Geoff的很多子孫后代都在引領(lǐng)人工智能的世界，而這一切都要?dú)w功于多倫多。

Feifei是斯坦福以人為本人工智能研究所的創(chuàng)始主任，斯坦福大學(xué)教授。她是美國國家工程院、美國國家醫(yī)學(xué)院和美國藝術(shù)與科學(xué)學(xué)院的當(dāng)選院士。在2017-18年斯坦福大學(xué)休假期間，她擔(dān)任谷歌副總裁，擔(dān)任谷歌云AI ML首席科學(xué)家。關(guān)于Feifei，我們還有很多很多話要說，但她的學(xué)生中也有很多人后來成為全球該領(lǐng)域的領(lǐng)導(dǎo)者。

非常重要的是，對于那些還沒有聽說過的人來說，F(xiàn)eifei將在幾周后出版一本書。這本書將于11月7日出版。這本書的標(biāo)題是《我眼中的世界：人工智能黎明的好奇、探索和發(fā)現(xiàn)》。我已經(jīng)閱讀過這本書，它非常出色。我強(qiáng)烈建議你們都去購買一本。我想把Geoff寫的封底推薦語讀給你們聽，因?yàn)樗拿枋霰任夷苷f的要精彩得多。這是Geoff的評價(jià)：

李飛飛是首位真正理解大數(shù)據(jù)力量的計(jì)算機(jī)視覺研究人員，她的工作為深度學(xué)習(xí)打開了大門。她對自己所推動(dòng)的人工智能技術(shù)的巨大潛力和潛在危險(xiǎn)進(jìn)行了緊急而清晰的描述。在這個(gè)歷史的關(guān)鍵時(shí)刻，她的呼吁采取行動(dòng)和承擔(dān)集體責(zé)任是迫切需要的。

因此，我強(qiáng)烈建議大家預(yù)訂這本書，并在它出版后立即閱讀。

最后，我要感謝Feifei和Geoff的加入。我認(rèn)為，如果沒有他們兩人，現(xiàn)代人工智能時(shí)代就不會(huì)存在，至少不會(huì)以現(xiàn)在的形式存在，這并不夸張。讓我們回到我認(rèn)為的大爆炸時(shí)刻，也就是AlexNet和ImageNet的誕生。

Geoff，你是否愿意從你的角度帶我們回顧一下那個(gè)時(shí)刻，也就是11年前的事情？

Hinton：

在2012年，我的兩個(gè)非常聰明的研究生贏得了一場公開競賽，展示了深度神經(jīng)網(wǎng)絡(luò)可以比現(xiàn)有技術(shù)做得更好。然而，如果沒有大數(shù)據(jù)集來訓(xùn)練他們，這是不可能的。到那時(shí)為止，還沒有一個(gè)標(biāo)記圖像的大數(shù)據(jù)集，而Feifei負(fù)責(zé)了這個(gè)數(shù)據(jù)集的創(chuàng)建。我想問Feifei在整理這個(gè)數(shù)據(jù)集時(shí)是否遇到了任何問題。

Feifei：

謝謝你，Geoff，也謝謝你，Jordan，以及多倫多大學(xué)。在這里真的很有趣。你提到的數(shù)據(jù)集叫做ImageNet，我從2007年開始構(gòu)建它，并在接下來的三年里與我的研究生一起完成了它。你問我在構(gòu)建它時(shí)是否遇到了問題？我該從哪里開始呢？即使在構(gòu)思這個(gè)項(xiàng)目時(shí)，我也被告知這真的是一個(gè)壞主意。我當(dāng)時(shí)是一名年輕的助理教授。我記得那是我在普林斯頓大學(xué)擔(dān)任助理教授的第一年，例如，我在該領(lǐng)域非常受人尊敬的導(dǎo)師，如果你知道學(xué)術(shù)術(shù)語的話，這些人將為我撰寫終身教職評估，實(shí)際上，在我告訴他們這個(gè)計(jì)劃是什么之后，他們真的好心地告訴我，請不要這樣做。所以那個(gè)人應(yīng)該是Jitendra，他建議說，如果你這樣做，你可能會(huì)很難獲得終身教職。然后我也試圖邀請其他合作者，但在機(jī)器學(xué)習(xí)或人工智能領(lǐng)域沒有人愿意接近這個(gè)項(xiàng)目。當(dāng)然，也沒有資金。

對于那些不熟悉ImageNet的人，我來簡單描述一下它。ImageNet是在2006年、2007年左右構(gòu)思出來的，我構(gòu)思ImageNet的原因?qū)嶋H上有兩個(gè)。首先，我認(rèn)為Geoff，我們有相似的背景，我接受過科學(xué)家的培訓(xùn)。對我而言，從事科學(xué)研究就如同追尋北極星一般。在人工智能領(lǐng)域，特別是視覺智能方面，我認(rèn)為物體識別——即計(jì)算機(jī)識別圖片中的桌子或椅子等物體的能力，被稱為物體識別，這必須是我們領(lǐng)域的北極星問題。我認(rèn)為我們需要真正解決這個(gè)問題，因此我想定義這個(gè)北極星問題。這就是ImageNet的一個(gè)方面。

ImageNet的另一個(gè)方面是，我意識到當(dāng)時(shí)的機(jī)器學(xué)習(xí)確實(shí)有些停滯不前，我們正在制作非常復(fù)雜的模型，但卻沒有足夠的數(shù)據(jù)來驅(qū)動(dòng)機(jī)器學(xué)習(xí)。用我們的行話來說，這實(shí)際上是泛化問題。我意識到我們確實(shí)需要重新開始，從數(shù)據(jù)驅(qū)動(dòng)的角度重新思考機(jī)器學(xué)習(xí)。因此，我想創(chuàng)建一個(gè)在數(shù)量和多樣性等方面前所未有的數(shù)據(jù)集。

經(jīng)過三年的發(fā)展，ImageNet成為了一個(gè)精選的互聯(lián)網(wǎng)圖像數(shù)據(jù)集，共計(jì)1500萬張圖像，涵蓋22000個(gè)概念、對象類別概念，這就是數(shù)據(jù)集。

Hinton：

僅供比較，在多倫多，我們同時(shí)還在制作一個(gè)名為CIFAR-10的數(shù)據(jù)集，該數(shù)據(jù)集包含10個(gè)不同的類別和60000張圖像，這項(xiàng)工作非常繁重。CIFAR慷慨地支付了每張圖片5美分的費(fèi)用。

因此，您將數(shù)據(jù)集變成了一場比賽。

請向我們介紹一下這意味著什么，然后我們將快進(jìn)到2012年。

Feifei：

對，我們在2009年制作了這個(gè)數(shù)據(jù)集。我們勉強(qiáng)把它做成了學(xué)術(shù)會(huì)議的海報(bào)，但沒有人關(guān)注。我當(dāng)時(shí)有點(diǎn)絕望，我相信這是可行的方法，然后我們就把它開源了。但即使有了開源，它也沒有真正起步。

因此，我的學(xué)生和我想，好吧，讓我們再多做一點(diǎn)，提高競爭水平。讓我們創(chuàng)建一個(gè)競賽，邀請全球研究界參與通過ImageNet進(jìn)行對象識別的問題。所以我們做了一個(gè)ImageNet競賽，我們從朋友和同事那里得到的第一個(gè)反饋是它太大了。當(dāng)時(shí)，你無法將它放入硬盤中，更不用說內(nèi)存了。

因此，我們實(shí)際上創(chuàng)建了一個(gè)較小的數(shù)據(jù)集，稱為ImageNet挑戰(zhàn)數(shù)據(jù)集，它只有100萬張圖像，涵蓋1000個(gè)類別，而不是22000個(gè)類別，我想這是在2010年發(fā)布的。你們在2011年就注意到了。

Hinton：

是的。在我的實(shí)驗(yàn)室里，我們已經(jīng)有了深度神經(jīng)網(wǎng)絡(luò)，可以很好地進(jìn)行語音識別，然后Ilya Sutskever說，我們擁有的應(yīng)該能夠贏得ImageNet競賽。他試圖說服我我們應(yīng)該這樣做，我說，這是大量的數(shù)據(jù)。他試圖說服他的朋友Alex·沙舍夫斯基，但Alex并不感興趣。因此，Ilya實(shí)際上對所有數(shù)據(jù)進(jìn)行了預(yù)處理，將其轉(zhuǎn)化為Alex所需的格式。你減小了圖像的尺寸。是的，他確實(shí)將圖像尺寸縮小了一些，并為Alex進(jìn)行了適當(dāng)?shù)念A(yù)處理。最后，Alex同意了這種做法。

與此同時(shí)，在紐約的Yann LeCun實(shí)驗(yàn)室，揚(yáng)急切地希望他的學(xué)生和博士后研究這個(gè)數(shù)據(jù)集。他認(rèn)為，第一個(gè)將卷積網(wǎng)絡(luò)應(yīng)用于這個(gè)數(shù)據(jù)集的人將會(huì)勝出，但他的學(xué)生們對此并不感興趣。他們都忙于其他事情。因此，Alex和Ilya繼續(xù)他們的工作。通過參加去年的比賽，我們發(fā)現(xiàn)我們的技術(shù)遠(yuǎn)勝于其他技術(shù)，所以我們知道我們將贏得2012年比賽。

然后，還有一個(gè)政治問題。我們認(rèn)為，如果我們能證明神經(jīng)網(wǎng)絡(luò)贏得了這場比賽，計(jì)算機(jī)視覺專家，尤其是Jitendra，可能會(huì)說，這只能說明這個(gè)數(shù)據(jù)集不夠好。因此，我們必須提前讓他們同意，如果我們贏得了比賽，那就證明了神經(jīng)網(wǎng)絡(luò)是有效的。于是，我給Jitendra打電話，我們討論了我們可能使用的數(shù)據(jù)集。我的目標(biāo)是讓Jitendra同意，如果我們能處理ImageNet，那就證明神經(jīng)網(wǎng)絡(luò)確實(shí)有效。經(jīng)過一番討論，他建議我處理其他數(shù)據(jù)集，我們最后達(dá)成了共識：如果我們能處理ImageNet，那就證明了神經(jīng)網(wǎng)絡(luò)是有效的。Jitendra記得他是建議我們處理ImageNet的，但實(shí)際上情況正好相反。我們成功了，這真是太棒了。

我們的錯(cuò)誤率略高于標(biāo)準(zhǔn)技術(shù)的一半，而這些標(biāo)準(zhǔn)技術(shù)已經(jīng)由非常優(yōu)秀的研究人員進(jìn)行了多年的調(diào)整。

Feifei：

我記得當(dāng)時(shí)的標(biāo)準(zhǔn)技術(shù)是稀疏化支持向量機(jī)。所以，你們提交了比賽結(jié)果。

我記得那是在八月底或九月初的一天晚上，我收到了正在運(yùn)行這個(gè)項(xiàng)目的學(xué)生的電話或電子郵件，因?yàn)槲覀冊诜?wù)器端保存了正在運(yùn)行的測試數(shù)據(jù)。我們的目標(biāo)是處理所有參賽作品，以便選出獲勝者。然后，我想是在那年十月初，計(jì)算機(jī)視覺領(lǐng)域的國際會(huì)議ICCV 2012在意大利佛羅倫薩舉行。我們已經(jīng)預(yù)定了會(huì)議上的年度研討會(huì)。我們將宣布獲勝者。這是第三年，所以在我們必須處理獲勝團(tuán)隊(duì)的幾周前。

因?yàn)檫@是第三年，坦白說，前兩年的結(jié)果并沒有讓我感到興奮。而且，我當(dāng)時(shí)還是一名哺乳期的母親，所以我決定不參加第三年的比賽。因此，我沒有訂票。我覺得，對我來說，那太遠(yuǎn)了。

然后那天晚上，我收到了結(jié)果，是電話還是電子郵件，我已經(jīng)記不清了。我當(dāng)時(shí)對自己說，該死的，Geoff，現(xiàn)在我必須買一張去意大利的機(jī)票，因?yàn)槲抑滥鞘且粋€(gè)非常重要的時(shí)刻，尤其是對于卷積神經(jīng)網(wǎng)絡(luò)，這是我在讀研究生時(shí)學(xué)到的經(jīng)典算法。當(dāng)然，那時(shí)從舊金山飛往佛羅倫薩只有中途停留的經(jīng)濟(jì)艙座位，所以去佛羅倫薩的旅程很艱苦，但我想去那里。但Geoff你并未出席。

Hinton：不，我確實(shí)沒有出席。那是一次充滿艱辛的旅程。

Feifei：但你是否知道那將是一個(gè)具有歷史意義的時(shí)刻？

Hinton：是的，我知道。

Feifei：但你派遣了Alex代表你出席。

Hinton：Alex，對，就是他。

Feifei：

他多次忽視了我發(fā)給他的電子郵件，因?yàn)槲以鴮λf：“Alex，這個(gè)想法太棒了，請做這個(gè)可視化?！彼麉s對我置之不理。然而Yann LeCun卻出席了。這是因?yàn)閰⒓舆@類學(xué)術(shù)會(huì)議的人通常會(huì)預(yù)訂較小的房間，我們也預(yù)訂了一個(gè)非常小的房間，可能只占據(jù)了這里的中間部分。我記得Yann不得不站在房間的后面，因?yàn)槟抢锶藵M為患。

最后，Alex出現(xiàn)了，因?yàn)槲艺娴暮芫o張，擔(dān)心他甚至不會(huì)出現(xiàn)。

但正如你所預(yù)期的，ImageNet在那次研討會(huì)上受到了攻擊。在那次研討會(huì)上，有人公開批評ImageNet是一個(gè)糟糕的數(shù)據(jù)集。這種情況就發(fā)生在會(huì)議室里。在演講過程中。在會(huì)議室里。

Hinton：但Jitendra并未參與其中，因?yàn)镴itendra已經(jīng)認(rèn)同這個(gè)觀點(diǎn)。

Feifei：我不記得Jitendra當(dāng)時(shí)是否在會(huì)議室里。

但我記得那對我來說是一個(gè)非常奇特的時(shí)刻，因?yàn)樽鳛橐幻麢C(jī)器學(xué)習(xí)研究人員，我知道歷史正在被創(chuàng)造。然而，ImageNet卻在此時(shí)受到了攻擊。那是一個(gè)非常奇特且令人興奮的時(shí)刻。

然后我不得不匆忙返回舊金山，因?yàn)榈诙煸缟衔疫€有事情要處理。

所以你提到了一些人，我想稍后再詳細(xì)談?wù)撍麄儭?/p>

Ilya是OpenAI的創(chuàng)始人兼首席科學(xué)家，Yann LeCun后來成為Facebook（現(xiàn)在是Meta）的人工智能主管。還有其他一些有趣的人物。

但在我們繼續(xù)討論那個(gè)繁榮時(shí)刻創(chuàng)造了什么之前，讓我們先回顧一下。你們兩人都是帶著一個(gè)非常具體的目標(biāo)開始的，這個(gè)目標(biāo)非常獨(dú)特，我認(rèn)為它是反傳統(tǒng)的。你們必須堅(jiān)持度過你剛才描述的那些時(shí)刻，而且在整個(gè)職業(yè)生涯中都是如此。

Geoff，你能否先回顧一下，告訴我們你當(dāng)初為什么想進(jìn)入人工智能領(lǐng)域？

Hinton：

我本科學(xué)的是心理學(xué)。我并沒有學(xué)得很好。我認(rèn)為，除非他們弄清楚大腦是如何運(yùn)作的，否則他們永遠(yuǎn)也不會(huì)弄清楚思維是如何運(yùn)作的。所以我想弄清楚大腦是如何運(yùn)作的。我想要一個(gè)真正能起作用的模型。

因此，你可以把理解大腦看作是搭建一座橋梁。這里有實(shí)驗(yàn)數(shù)據(jù)，你可以從實(shí)驗(yàn)數(shù)據(jù)中學(xué)到一些東西。有些東西可以做你想要的計(jì)算，可以識別物體。它們非常不同。

我認(rèn)為這是你想在數(shù)據(jù)和能力之間搭建一座橋梁，完成任務(wù)的能力。我總是把自己看作是從能起作用的東西的末端開始，但試圖讓它們越來越像大腦，但仍然能起作用。許多人試圖通過經(jīng)驗(yàn)數(shù)據(jù)來證明某些事物，并嘗試提出可能有效的理論。然而，我們的目標(biāo)是嘗試搭建一座橋梁，這是一項(xiàng)并不常見的嘗試。特里正在從另一端嘗試搭建這座橋梁，因此我們的合作非常愉快。

很多從事計(jì)算機(jī)視覺的人只是想找到一些有效的方法，他們并不關(guān)心大腦的運(yùn)作。而許多對大腦感興趣的人，他們想了解神經(jīng)元是如何工作的，但并不想過多地考慮計(jì)算的性質(zhì)。我堅(jiān)信，我們必須通過讓了解數(shù)據(jù)的人和知道如何建立聯(lián)系的人共同來搭建這座橋梁。因此，我的目標(biāo)一直是創(chuàng)造能夠?qū)崿F(xiàn)視覺的東西，但必須以人的方式來實(shí)現(xiàn)。

我們會(huì)回到這個(gè)問題上，因?yàn)槲蚁朐儐柲阕罱陌l(fā)展以及你認(rèn)為它們與大腦的關(guān)系。Geoff，我只是想給你一個(gè)框架，讓你了解你的起點(diǎn)，從80年代中后期的英國，到美國，再到1987年的加拿大。在這條路線上，對神經(jīng)網(wǎng)絡(luò)的資助和興趣以及你采取的方法大致是這樣的，但我想說大部分是這樣的。

Feifei，你的人生起點(diǎn)非常不同。你能給我們講一下你是如何進(jìn)入人工智能領(lǐng)域的嗎？

Feifei：

我在中國開始了我的生活。15歲時(shí)，我和父母來到新澤西州的帕西帕尼。因此，我成為了一名新移民，我首先開始學(xué)習(xí)英語作為第二語言課程，因?yàn)槲也粫?huì)說英語，只能在洗衣店和餐館等地方工作。但我對物理充滿熱情。我不知道它是怎么進(jìn)入我的腦海的，我想去普林斯頓，因?yàn)槲抑恢缾垡蛩固乖谀抢?，所以我進(jìn)了普林斯頓。我進(jìn)普林斯頓的時(shí)候，他已經(jīng)不在了。你還沒那么老。是的。但那里有他的雕像。

除了數(shù)學(xué)和所有這些之外，我在物理中學(xué)到的一件事就是敢于提出最瘋狂的問題，比如原子世界中最小的粒子，時(shí)空的邊界和宇宙的起點(diǎn)。在此過程中，我在三年級時(shí)發(fā)現(xiàn)了大腦羅杰·彭羅斯和那些書。是的。你可能有自己的看法，但至少我讀過那些書。

Hinton：你最好不要這么做。

Feifei：好吧，他至少讓我對大腦產(chǎn)生了興趣。到了我畢業(yè)的時(shí)候，我想問一個(gè)科學(xué)家最大膽的問題。對我來說，我們這一代人，也就是2000年，最令人著迷、最大膽的問題就是智力。所以我去了加州理工學(xué)院，在Christoph Koch的指導(dǎo)下攻讀神經(jīng)科學(xué)博士學(xué)位，在Pietro Perona的指導(dǎo)下攻讀人工智能博士學(xué)位。

所以我非常贊同你所說的橋梁，因?yàn)槟俏迥曜屛夷軌蜓芯坑?jì)算神經(jīng)科學(xué)，觀察大腦是如何工作的，以及研究計(jì)算方面的問題，并嘗試構(gòu)建可以模仿人腦的計(jì)算機(jī)程序。這就是我的旅程。它從物理學(xué)開始。

因此，你們的旅程在2012年的ImageNet大賽中交匯。

Feifei：順便提一下，我在讀研究生的時(shí)候，有幸認(rèn)識了Geoff。

Hinton：我還記得，我曾經(jīng)去過Pietro的實(shí)驗(yàn)室。實(shí)際上，當(dāng)我70歲的時(shí)候，他確實(shí)為我在加州理工學(xué)院提供了一份工作。你本可以成為我的顧問，但在我70歲的時(shí)候并未如此。

好的，你們在ImageNet大賽中相遇。對于這個(gè)領(lǐng)域的人來說，ImageNet無疑是一個(gè)重要的里程碑。隨后，大型科技公司開始進(jìn)入這個(gè)領(lǐng)域，他們開始收購你的學(xué)生和你，將你們納入公司的行列。我認(rèn)為他們是最早意識到這個(gè)領(lǐng)域潛力的人。

我想談一下這個(gè)問題，但我想稍微快進(jìn)一下。我認(rèn)為，直到ChatGPT出現(xiàn)，世界其他地方才開始意識到人工智能的力量，因?yàn)槟悻F(xiàn)在可以親身體驗(yàn)它。你可以在會(huì)議室中體驗(yàn)它，可以討論它，然后回家。甚至有10歲的孩子用ChatGPT為五年級寫了一篇關(guān)于恐龍的作文。這種每個(gè)人都可以親身體驗(yàn)的情況，我認(rèn)為是一個(gè)巨大的轉(zhuǎn)變。

然而，在過去的10年中，大型科技公司內(nèi)部的人工智能發(fā)展迅速，而其他人并沒有真正注意到這一點(diǎn)。你能和我們分享一下你的經(jīng)歷嗎？因?yàn)樵贗mageNet之后，你經(jīng)歷了一種轉(zhuǎn)變。

Hinton：

我們很難理解為什么其他人沒有意識到發(fā)生了什么，因?yàn)槲覀兦宄乜吹搅诉@一點(diǎn)。

許多你認(rèn)為會(huì)走在前沿的大學(xué)在接受這個(gè)新領(lǐng)域方面進(jìn)展非常緩慢，例如麻省理工學(xué)院和伯克利分校。我記得在2013年去伯克利聽過一次演講，當(dāng)時(shí)人工智能已經(jīng)在計(jì)算機(jī)視覺領(lǐng)域取得了巨大的成功。然而，一個(gè)研究生走到我面前，說他在這里待了四年，這是他第一次聽到關(guān)于神經(jīng)網(wǎng)絡(luò)的演講。他們真的很有趣，他應(yīng)該去斯坦福大學(xué)。

麻省理工學(xué)院也是如此，他們堅(jiān)決反對使用神經(jīng)網(wǎng)絡(luò)。ImageNet的成功開始讓他們感到沮喪?，F(xiàn)在他們是神經(jīng)網(wǎng)絡(luò)的大力支持者。但現(xiàn)在很難想象，在2010年或2011年左右，有一些計(jì)算機(jī)視覺領(lǐng)域的專家，非常優(yōu)秀的專家，堅(jiān)決反對神經(jīng)網(wǎng)絡(luò)。他們非常反對，例如，主要期刊之一的IEEE Pattern Recognition，PAMI，曾經(jīng)有一項(xiàng)政策，不審閱有關(guān)神經(jīng)網(wǎng)絡(luò)的論文，直接將它們退回。這是浪費(fèi)時(shí)間。該研究不應(yīng)該在PAMI（模式分析和機(jī)器智能）上發(fā)表。

研究者向一個(gè)會(huì)議提交了一篇論文，論文中提出了一個(gè)神經(jīng)網(wǎng)絡(luò)模型，該模型在識別和分割行人方面的表現(xiàn)超過了當(dāng)前最先進(jìn)的技術(shù)。然而，這篇論文被拒絕了。

拒稿的原因之一是，一位審稿人認(rèn)為，這篇論文并未提供任何有關(guān)視覺信息的新知識。他們認(rèn)為，計(jì)算機(jī)視覺的研究應(yīng)該是探究視覺問題的本質(zhì)，然后制定出解決這個(gè)問題的算法，明確如何實(shí)現(xiàn)這個(gè)算法，最后發(fā)表論文。然而，這篇論文并未達(dá)到這樣的標(biāo)準(zhǔn)。

我必須捍衛(wèi)我的領(lǐng)域。并非所有人都持有這樣的觀點(diǎn)，但是有一部分人是這樣認(rèn)為的。然而，大多數(shù)人對神經(jīng)網(wǎng)絡(luò)持有強(qiáng)烈的反對態(tài)度。然而，在ImageNet競賽結(jié)束后，情況發(fā)生了翻天覆地的變化。在大約一年的時(shí)間里，所有曾經(jīng)對神經(jīng)網(wǎng)絡(luò)提出過最大批評的人都開始研究神經(jīng)網(wǎng)絡(luò)。令人遺憾的是，他們中的一些人的研究成果甚至超過了我們。例如，牛津大學(xué)的Zisserman很快就研發(fā)出了更優(yōu)秀的神經(jīng)網(wǎng)絡(luò)。

但他們的行為是科學(xué)家應(yīng)有的態(tài)度，他們堅(jiān)信這些東西是垃圾。然而，由于ImageNet的存在，我們最終可以證明事實(shí)并非如此。于是，他們改變了態(tài)度，這讓人感到欣慰，并且他們也繼續(xù)推進(jìn)研究。

所以，你想表明的是，你試圖使用神經(jīng)網(wǎng)絡(luò)準(zhǔn)確地標(biāo)記這1500萬張圖像。你已經(jīng)在后臺(tái)對它們進(jìn)行了標(biāo)記，以便可以測量。當(dāng)你這樣做時(shí)，錯(cuò)誤率從前一年的26%下降到16%左右。

然后在隨后的幾年里，人們正在使用更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)，錯(cuò)誤率繼續(xù)下降……

Feifei：

到了2015年，一位非常聰明的加拿大本科生Andrej Karpathy加入了我的實(shí)驗(yàn)室。有一年夏天，他覺得無聊，說，我想測量一下人類的表現(xiàn)。所以他讓所有這些人參加圖像網(wǎng)絡(luò)測試聚會(huì)。我想，他不得不用披薩賄賂他們，當(dāng)時(shí)我的學(xué)生也在實(shí)驗(yàn)室里。他們的準(zhǔn)確率大約是5分的3.5分

然后我想到了2016年，我認(rèn)為ResNet超過了它。是ResNet。那是那一年的獲勝算法，超過了人類的表現(xiàn)。

然后最終你不得不退出比賽，因?yàn)樗热祟惡锰嗔?，以至于…?/p>

Feifei：我們不得不作出退出的決定，原因在于我們的資金已經(jīng)耗盡。

Hinton：此外，我想提一下，Andrej在進(jìn)入你的實(shí)驗(yàn)室之前，其學(xué)術(shù)生涯是在多倫多大學(xué)開始的。后來，他前往特斯拉擔(dān)任研究主管。

Feifei：在此之前，他曾在斯坦福大學(xué)攻讀博士學(xué)位。昨晚我們進(jìn)行了一次交談，實(shí)際上，在他的學(xué)術(shù)生涯中，有一篇具有突破性的論文。然后，他成為了OpenAI的創(chuàng)始團(tuán)隊(duì)的一員。

Hinton：后來他選擇了特斯拉。然后，他改變了自己的主意。

Feifei：但我確實(shí)想回答你關(guān)于過去十年的問題。在這期間，有幾個(gè)重要的發(fā)展，其中包括Transformers。

是的，Transformer的論文是由谷歌內(nèi)部的研究團(tuán)隊(duì)完成的。另一位加拿大人，艾登·戈麥斯，是這篇論文的合著者，他現(xiàn)在是Cohere的首席執(zhí)行官兼聯(lián)合創(chuàng)始人。我認(rèn)為他在共同撰寫這篇論文時(shí)，是谷歌大腦的一名20歲實(shí)習(xí)生。因此，加拿大人參與這些突破性研究已經(jīng)成為一種傳統(tǒng)。然而，Geoff，當(dāng)這篇論文在谷歌內(nèi)部寫作時(shí)，你是否意識到這個(gè)研究的重要性？

Hinton：

我認(rèn)為并沒有。也許作者自己知道。但我花了幾年時(shí)間才意識到它的重要性。在谷歌，直到BERT的出現(xiàn)，人們才開始意識到它的重要性。因此，BERT使用了Transformers，然后，BERT在許多不同任務(wù)的自然語言處理基準(zhǔn)測試中表現(xiàn)得更好。那時(shí)，人們開始意識到Transformers的特殊之處。

Feifei：

因此，2017年，Transformer的論文發(fā)表，我也加入了谷歌。我記得你和我實(shí)際上是在我加入的第一周就認(rèn)識的。我認(rèn)為2017年和2018年的大部分時(shí)間，我都在進(jìn)行神經(jīng)架構(gòu)搜索，我認(rèn)為那是谷歌的一個(gè)重要投資。而且，大量的GPU被投入使用。所以，這是一個(gè)不同的賭注。

Hinton：

神經(jīng)架構(gòu)搜索本質(zhì)上是這樣的：你會(huì)得到大量的GPU，然后你嘗試很多不同的架構(gòu)，看看哪個(gè)效果最好，然后你將其自動(dòng)化。這基本上是神經(jīng)網(wǎng)絡(luò)架構(gòu)的自動(dòng)演進(jìn)，就像超參數(shù)調(diào)整一樣。它帶來了一些相當(dāng)大的改進(jìn)，但沒有什么比Transformers更好。Transformers對自然語言的處理是一個(gè)巨大的進(jìn)步。神經(jīng)架構(gòu)搜索主要是在ImageNet上完成的。

所以，我想分享一下我們對Transformers的體驗(yàn)。當(dāng)時(shí)，我們正在進(jìn)行我們公司的第六輪融資。我記得我們看到了這篇論文的預(yù)發(fā)布版本。我們正處于融資和一系列收購要約之中。我們讀了這篇論文，不僅是我，還有我的合伙人Tommy，他和你一起學(xué)習(xí)過。我們還有來自小組實(shí)驗(yàn)室的Max Volkovs。我們認(rèn)為，這將是神經(jīng)網(wǎng)絡(luò)的下一個(gè)迭代。我們應(yīng)該出售這家公司，設(shè)立一家風(fēng)險(xiǎn)基金，并投資于那些即將使用Transformers的公司。因此，我們預(yù)測，除了谷歌之外，這項(xiàng)技術(shù)還需要五年的時(shí)間才能被廣泛采用。從那一刻起，全球所有的軟件都需要十年的時(shí)間才能被這項(xiàng)技術(shù)取代或嵌入。我們在ChatGPT問世的五年零兩周前做出了這個(gè)決定。因此，我很高興看到我們的預(yù)測非常準(zhǔn)確。

然而，我必須感謝我的聯(lián)合創(chuàng)始人。我原以為我已經(jīng)理解了這篇論文的內(nèi)容，但他們卻能夠完整地解釋它。

Hinton：

我只想糾正你的一個(gè)誤解。我認(rèn)為Tommy從未跟我學(xué)習(xí)過。他曾想過跟我學(xué)習(xí)，但我的一個(gè)部門同事告訴他，如果他來跟我一起工作，那將是他職業(yè)生涯的結(jié)束。他應(yīng)該去做別的事情。因此，他選擇了參加課程。

我的搭檔，在90年代末在多倫多大學(xué)攻讀碩士學(xué)位。他曾想跟Geoff一起研究神經(jīng)網(wǎng)絡(luò)。他現(xiàn)在的岳父，是一名工程學(xué)教授，他告訴他不要這樣做，因?yàn)樯窠?jīng)網(wǎng)絡(luò)是條死路。因此，他選擇了參加課程，并用加密貨幣撰寫了論文。

Feifei：你還會(huì)談?wù)撨@10年嗎？因?yàn)槲艺J(rèn)為有一些重要的事情。

是的，請繼續(xù)。

Feifei：

我確實(shí)認(rèn)為世界忽略了一些重要的事情。在ImageNet、AlexNet和ChatGPT之間的這10年，大多數(shù)人都將其視為技術(shù)的10年，或者我們認(rèn)為這是技術(shù)的10年。在大型科技領(lǐng)域，有些事情正在醞釀之中。它需要Seq2Seq、transformer，但事情正在醞釀之中。

然而，我確實(shí)認(rèn)為，對我個(gè)人和世界而言，這也是技術(shù)向社會(huì)的轉(zhuǎn)變。實(shí)際上，我個(gè)人認(rèn)為，在這10年里，我從一個(gè)科學(xué)家成長為一個(gè)人文主義者，因?yàn)樵趖ransformer論文發(fā)表的中間兩年加入了谷歌，我開始看到這項(xiàng)技術(shù)的社會(huì)意義。這是在AlphaGo之后的時(shí)刻。很快，我們就到了AlphaFold的時(shí)刻。偏見開始蔓延，隱私問題開始出現(xiàn)，然后我們開始看到虛假信息和錯(cuò)誤信息的出現(xiàn)。然后我們開始看到在小圈子里談?wù)摴ぷ?，而不是在大型公開討論中。那是我個(gè)人感到焦慮的時(shí)候。

我記得是在2018年，也就是在劍橋分析公司事件之后，我開始意識到技術(shù)對選舉的巨大影響，這并非人工智能本身，而是算法驅(qū)動(dòng)的技術(shù)。那時(shí)，我不得不做出個(gè)人決定，是留在谷歌還是回到斯坦福。我知道我回到斯坦福的唯一原因是創(chuàng)辦這個(gè)人類中心人工智能研究所，真正了解這項(xiàng)技術(shù)的人性化一面。因此，我認(rèn)為過去的十年極其重要。盡管這一技術(shù)尚未引起公眾的廣泛關(guān)注，但它已經(jīng)開始真正滲透到我們生活的各個(gè)方面。顯然，到了2022年，這一切都在陽光下展現(xiàn)出來，其影響之深遠(yuǎn)是無法估量的。

在那個(gè)時(shí)期，有一件有趣的事情值得一提，那就是你、Ilya和Alex最終加入了谷歌。然而在此之前，有一家大型的加拿大公司本有機(jī)會(huì)獲得這項(xiàng)技術(shù)。我曾聽過這個(gè)故事，但我認(rèn)為它從未被公開分享過。也許你愿意分享一下這個(gè)故事？

Hinton：

好的，我們在ImageNet上使用的技術(shù)，實(shí)際上是我們在2009年為語音識別開發(fā)的，主要用于語音識別的聲學(xué)建模部分。你可以獲取聲波，然后制作一個(gè)叫做頻譜圖的東西，它會(huì)告訴你每個(gè)頻率上的能量是多少。你可能習(xí)慣于看頻譜圖，你想要做的是查看頻譜圖并猜測頻譜圖中間幀表達(dá)了哪個(gè)音素的哪個(gè)部分。

我有兩個(gè)學(xué)生，喬治·達(dá)爾和另一個(gè)我與杰拉爾德·佩恩共同指導(dǎo)的學(xué)生阿卜杜。我們都叫他阿卜杜，他是一位語音專家，而喬治是一位學(xué)習(xí)專家。在2009年的夏天，他們制作了一個(gè)模型，這個(gè)模型比過去30年的語音研究所能產(chǎn)生的模型更好，盡管它的優(yōu)勢并不像ImageNet那么大，但仍然更好。

之后，George和Abdo分別去了微軟和IBM，將這個(gè)模型移植到了IBM和微軟。然后，這些大型語音研究小組開始使用神經(jīng)網(wǎng)絡(luò)。

我的第三個(gè)學(xué)生Navdeep Jaitley一直在研究另一個(gè)叫做Navdeep的東西。他想把這種語音技術(shù)帶到一家大公司，但由于復(fù)雜的簽證原因，他想留在加拿大。因此，我們聯(lián)系了黑莓公司，我們告訴他們，我們有這種新的語音識別方法，它比現(xiàn)有技術(shù)效果更好。我們希望一個(gè)學(xué)生在夏天來找你，向你展示如何使用它。然后，你就可以在手機(jī)上獲得最好的語音識別了。

然而，經(jīng)過一些討論后，黑莓的一位相當(dāng)資深的人表示，他們對此并不感興趣。因此，我們試圖將其提供給加拿大工業(yè)的嘗試失敗了。然后Navdeep把它帶到了谷歌，谷歌成為了第一個(gè)將其變成產(chǎn)品的公司。

因此，在2012年，大約在我們贏得ImageNet競賽的同時(shí)，George和Abdo的語音識別聲學(xué)模型也出現(xiàn)了，我們做了很多工作來使它成為一個(gè)好的產(chǎn)品，并使它具有低延遲等等，這些都在Android中出現(xiàn)了。有一段時(shí)間，Android在語音識別方面突然變得和Siri一樣好。這就是神經(jīng)網(wǎng)絡(luò)的力量。我認(rèn)為，對于大型公司的高管而言，這是另一個(gè)重要因素。他們看到了在視覺方面取得的顯著成果，同時(shí)也注意到了其在語音識別產(chǎn)品中的應(yīng)用，并且表現(xiàn)良好。因此，我認(rèn)為，視覺和語音的結(jié)合無疑可以實(shí)現(xiàn)一切。

至于黑莓，我們就不再多談了。加拿大工業(yè)沒有采取行動(dòng)真是遺憾，如果他們這樣做的話，我想我們可能還會(huì)有黑莓手機(jī)。好了，我們就此打住。

我認(rèn)為這是一個(gè)值得講述的故事，我以前聽過這個(gè)故事，但我認(rèn)為讓世界其他國家了解背后發(fā)生的事情很重要，比如為什么這項(xiàng)技術(shù)沒有留在加拿大，盡管它是免費(fèi)提供的。

好的，讓我們繼續(xù)前進(jìn)。

現(xiàn)在我們有了后Transformer時(shí)代。谷歌開始以多種不同的方式使用和開發(fā)它。OpenAI是由你的前學(xué)生Ilya離開谷歌后，與伊隆·馬斯克、薩姆·奧特曼、格雷格·布羅克曼和其他一些人一起創(chuàng)立的。Ilya是首席科學(xué)家，他們和你的學(xué)生Andrej是聯(lián)合創(chuàng)始人。他們正在合作，一個(gè)非常小的團(tuán)隊(duì)，主要是進(jìn)行翻譯工作。

最初的想法是，我們要建立AGI和通用人工智能。最終，Transformer論文問世，他們開始在某個(gè)時(shí)候采用Transformer，并在內(nèi)部取得了非凡的進(jìn)展，但他們并沒有公開分享他們在語言理解和其他一些事情上的成果。他們在機(jī)器人技術(shù)方面做出了努力。Peter Abbeel最終分拆了Covariant，這是我們后來投資的一家公司，還有其他公司。因此，語言部分在不斷進(jìn)步。除了OpenAI的人，其他人并不真正了解發(fā)生了什么。然后，ChatGPT于去年11月30日發(fā)布，也就是10個(gè)月前。

Feifei：

GPT-2引起了我們中的一些人的注意。我認(rèn)為，實(shí)際上，我認(rèn)為在GPT-2發(fā)布的時(shí)候，我的同事、斯坦福大學(xué)的NLP教授Percy Leung找我說，F(xiàn)eifei，我對這項(xiàng)技術(shù)的重要性有了全新的認(rèn)識。因此，值得贊揚(yáng)的是，Percy立即要求HAI建立一個(gè)中心來研究這個(gè)問題。

我不知道在多倫多是否有爭議，但斯坦福大學(xué)是創(chuàng)造了基礎(chǔ)模型這一術(shù)語的大學(xué)。有些人稱之為LLM，大型語言模型，但超越語言，我們稱之為基礎(chǔ)模型。我想，在3.5發(fā)布之前，我們就創(chuàng)建了基礎(chǔ)模型研究中心。所以肯定是在ChatGPT之前。

對于那些不熟悉基礎(chǔ)模型的人，我來描述一下基礎(chǔ)模型是什么。

Feifei:

這其實(shí)是一個(gè)很好的問題。有些人認(rèn)為基礎(chǔ)模型中必須有Transformer。它必須是一個(gè)在大量數(shù)據(jù)上訓(xùn)練的非常大的模型。非常大的模型，通過大量數(shù)據(jù)進(jìn)行預(yù)預(yù)訓(xùn)練，我認(rèn)為這是基礎(chǔ)模型的最重要特性之一，即其在多個(gè)任務(wù)上的通用性。你并不是專門為某一項(xiàng)任務(wù)，比如機(jī)器翻譯，來訓(xùn)練這個(gè)模型。在自然語言處理（NLP）領(lǐng)域，機(jī)器翻譯無疑是一項(xiàng)重要的任務(wù)。然而，像GPT這樣的基礎(chǔ)模型，不僅能夠進(jìn)行機(jī)器翻譯，還能進(jìn)行對話、總結(jié)等多種任務(wù)。這就是基礎(chǔ)模型的特點(diǎn)。我們現(xiàn)在在多模態(tài)領(lǐng)域也看到了這一點(diǎn)，比如在機(jī)器人、視頻等領(lǐng)域，我們看到了各種不同的應(yīng)用。所以，我們創(chuàng)造了這樣的模型。

Hinton：

關(guān)于基礎(chǔ)模型，另一個(gè)非常重要的事情是，長期以來，在認(rèn)知科學(xué)中，普遍的觀點(diǎn)是，這些神經(jīng)網(wǎng)絡(luò)，只要你給它們足夠的訓(xùn)練數(shù)據(jù)，它們就能完成復(fù)雜的任務(wù)。但是，它們需要大量的訓(xùn)練數(shù)據(jù)，需要看過成千上萬只貓的圖片。而人類在統(tǒng)計(jì)上要高效得多，也就是說，他們可以在更少的數(shù)據(jù)上學(xué)會(huì)做這些事情。然而，現(xiàn)在人們不再這么認(rèn)為了。因?yàn)樗麄儗?shí)際上在做的是比較麻省理工學(xué)院本科生在有限數(shù)據(jù)上能學(xué)到什么，與從隨機(jī)權(quán)重開始的神經(jīng)網(wǎng)絡(luò)在有限數(shù)據(jù)上能學(xué)到什么。這是一個(gè)不公平的比較。

如果你想進(jìn)行公平的比較，你可以采用一個(gè)基礎(chǔ)模型，也就是一個(gè)經(jīng)過大量訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。然后你給它一個(gè)全新的任務(wù)，你會(huì)問，它需要多少數(shù)據(jù)來學(xué)習(xí)這個(gè)全新的任務(wù)？這被稱為小樣本學(xué)習(xí)，因?yàn)樗恍枰鄶?shù)據(jù)。然后你會(huì)發(fā)現(xiàn)這些模型在統(tǒng)計(jì)上是有效的，也就是說，它們與人類相比，在完成一項(xiàng)新任務(wù)所需的數(shù)據(jù)量方面相當(dāng)有利。

所以，舊的先天主義觀點(diǎn)認(rèn)為，我們擁有大量的先天知識，這使我們遠(yuǎn)遠(yuǎn)優(yōu)于那些只從數(shù)據(jù)中學(xué)習(xí)一切的東西。人們現(xiàn)在幾乎已經(jīng)放棄了這種觀點(diǎn)。因?yàn)槿绻悴捎靡粋€(gè)沒有先天知識但有很多經(jīng)驗(yàn)的基礎(chǔ)模型，然后你給它一個(gè)新任務(wù)，它會(huì)非常有效地學(xué)習(xí)。它不需要大量的數(shù)據(jù)。

Feifei：

我的博士學(xué)位是研究一次性學(xué)習(xí)的，但這很有趣。即使在貝葉斯框架中，你也可以進(jìn)行預(yù)訓(xùn)練。但只有在神經(jīng)網(wǎng)絡(luò)中，預(yù)訓(xùn)練才能真正讓你實(shí)現(xiàn)這種多任務(wù)處理。

好的，這基本上在ChatGPT中被產(chǎn)品化了。全世界都在經(jīng)歷它，這只是10個(gè)月前的事。雖然對我們中的一些人來說，感覺時(shí)間要長得多。因?yàn)橥蝗婚g，你經(jīng)歷了一場很久以前的大爆炸，我認(rèn)為很長一段時(shí)間以來，沒有人真正看到它的結(jié)果。突然間，我的比較是，行星形成了，恒星也變得可見。每個(gè)人都可以體驗(yàn)10年前發(fā)生的事情的結(jié)果，然后發(fā)生了變化，等等。因此，世界突然充滿了激動(dòng)人心的氣氛，我認(rèn)為對許多人來說，這就像魔術(shù)一樣。他們可以觸摸和體驗(yàn)的事物，能以他們所期望的任何方式給予他們反饋。無論他們是輸入文本提示并要求創(chuàng)建圖像、視頻或文本，還是要求更多的文本來回答他們永遠(yuǎn)無法預(yù)測的問題并獲得那些出乎意料的答案，這都讓人感覺有些像魔術(shù)。

我個(gè)人的觀點(diǎn)是，我們一直在改變?nèi)斯ぶ悄艿哪繕?biāo)線。人工智能一直是我們無法實(shí)現(xiàn)的事情，它總是像魔術(shù)一樣。一旦我們達(dá)到了那個(gè)目標(biāo)，我們就會(huì)說，那根本不是人工智能?；蛘哂腥藭?huì)說，那根本不是人工智能。我們就這樣改變了目標(biāo)線。

那么，在這種情況下，當(dāng)它出現(xiàn)時(shí)，你的反應(yīng)是什么？我知道你的部分反應(yīng)是你離開了谷歌，決定做不同的事情。但是當(dāng)你第一次看到它時(shí)，你是怎么想的？

Hinton：

正如Feifei所說，GPT-2給我們所有人留下了深刻的印象。然后有一個(gè)穩(wěn)定的進(jìn)展。此外，在GPT-4和GPT-3.5之前，我在谷歌內(nèi)部看到的東西和Palm一樣好。所以這本身并沒有太大的區(qū)別。

更多的是Palm在谷歌內(nèi)部給我留下了深刻的印象，因?yàn)镻alm可以解釋為什么一個(gè)笑話很有趣。我總是用它作為例子，當(dāng)它能解釋一個(gè)笑話為什么好笑時(shí)，我們就知道它真的懂了。而Palm可以做到這一點(diǎn)。不是每個(gè)笑話都這樣，但很多笑話都是這樣。順便說一句，這些東西現(xiàn)在很好地解釋了為什么笑話很有趣。但它們講笑話很糟糕。

這是有原因的，因?yàn)樗鼈円淮沃荒苌梢粋€(gè)單詞的文本。所以如果你讓它們講一個(gè)笑話，它們會(huì)試著講一個(gè)笑話。所以它們會(huì)試著講一些聽起來像笑話的東西。所以他們會(huì)說，一個(gè)牧師和一只獾走進(jìn)了一家酒吧。這聽起來有點(diǎn)像笑話的開頭。他們繼續(xù)講一些聽起來像笑話開頭的東西。但后來他們到了需要妙語的地步。當(dāng)然，他們沒有提前想好。他們沒有想過妙語是什么。他們只是想讓它聽起來像是在引出一個(gè)笑話。然后他們給你一個(gè)可憐的、無力的妙語。因?yàn)樗麄儽仨毾氤鲆恍┟钫Z。

所以，盡管他們可以解釋笑話，因?yàn)樗麄冊谡f任何話之前就能看到整個(gè)笑話，但他們不能講笑話。但我們會(huì)解決這個(gè)問題。

好的。所以我想問你喜劇演員是不是未來的職業(yè)。

Hinton：可能不是。

好吧。所以無論如何。那么Feifei你對此有何反應(yīng)？再說一次，你一路上都看到了幕后的事情。一些反應(yīng)。

Feifei：

我的第一個(gè)反應(yīng)是，在所有人中，我以為我知道數(shù)據(jù)的力量。我仍然對數(shù)據(jù)的力量感到敬畏。那是一種技術(shù)反應(yīng)。我當(dāng)時(shí)的想法是，我應(yīng)該創(chuàng)造一個(gè)更大的ImageNet。也許我錯(cuò)了。

Hinton：但實(shí)際上，你仍然有機(jī)會(huì)做到這一點(diǎn)。

Feifei:

資金成為了問題。所以，這是首要的問題。

其次，當(dāng)我看到公眾開始對人工智能有所了解，開始關(guān)注GPT，而不僅僅是GPT-2技術(shù)時(shí)，我通常會(huì)感到慶幸。感謝上天，我們在過去四年里投資了以人為本的人工智能。感謝上天，我們與政策制定者、公共部門和民間社會(huì)建立了溝通的橋梁。我們的工作還遠(yuǎn)未完成，但感謝上天，這場對話已經(jīng)開始了。我們參與其中，我們領(lǐng)導(dǎo)了其中的一部分。

例如，作為斯坦福大學(xué)的一個(gè)研究所，我們正在領(lǐng)導(dǎo)一項(xiàng)重要的國家人工智能研究云法案，該法案目前仍在國會(huì)審議。實(shí)際上，現(xiàn)在還沒有通過。所以至少它正在推動(dòng)參議院。因?yàn)槲覀冾A(yù)測了這項(xiàng)技術(shù)的社會(huì)時(shí)刻。我們不知道它什么時(shí)候會(huì)到來，但我們知道它會(huì)到來。這只是一種緊迫感。

老實(shí)說，我覺得這是我們真正必須提升的時(shí)刻，不僅是作為技術(shù)專家的熱情，還有作為人文主義者的責(zé)任。

所以你們兩位，我想你們的共同反應(yīng)是，我們必須考慮這帶來的機(jī)會(huì)，也必須考慮它的負(fù)面后果。

Hinton：

對我來說，我意識到了一件事情，但直到很晚才意識到，讓我對社會(huì)影響更感興趣的是，就像Feifei所說的，數(shù)據(jù)的力量。這些大型聊天機(jī)器人看到的數(shù)據(jù)比任何人可能看到的多出數(shù)千倍。他們之所以能做到這一點(diǎn)，是因?yàn)槟憧梢詮?fù)制同一模型的數(shù)千份副本，每份副本都可以查看數(shù)據(jù)的不同子集，它們可以從中獲得如何更改參數(shù)的梯度。然后他們可以共享所有這些梯度。因此，每個(gè)副本都可以從其他副本從數(shù)據(jù)中提取的內(nèi)容中受益。我們不能這樣做。

假設(shè)你有10,000個(gè)人，他們出去閱讀了10,000本不同的書，每人讀完一本書后，他們都知道所有書里的內(nèi)容。這樣我們就可以變得非常聰明。而這正是這些機(jī)器人正在做的事情。

Feifei：因此，它們遠(yuǎn)遠(yuǎn)優(yōu)于我們。有些學(xué)校我們正試圖做到這一點(diǎn)，但并非如此。

Hinton：教育根本無望。它幾乎不值得花錢。除了多倫多大學(xué)和斯坦福大學(xué)。（笑）

我曾試圖向朋友解釋，Geoff有一種非常諷刺的幽默感，如果你花足夠的時(shí)間，你就會(huì)明白。但我會(huì)讓你決定這是否是諷刺。

Hinton：

所以我們交換知識的方式，粗略地說，這是一種簡化。但我寫了一句話，你弄清楚了你必須在大腦中改變什么，所以你可能會(huì)這么說。也就是說，如果你相信我的話。我們也可以對這些模型做到這一點(diǎn)。如果你想讓一個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)知道另一個(gè)架構(gòu)知道什么，這是一個(gè)完全不同的架構(gòu)，你不能只給它權(quán)重。所以，你是在讓一個(gè)模型模仿另一個(gè)模型的輸出，這個(gè)過程被稱為提煉。這其實(shí)就是我們?nèi)祟愊嗷W(xué)習(xí)的方式。然而，這種方式的效率非常低，因?yàn)樗芟抻谝粋€(gè)句子的帶寬，也就是幾百位。而如果你有這些模型，這些數(shù)字代理，它們有數(shù)萬億個(gè)參數(shù)，每個(gè)模型都會(huì)查看不同的數(shù)據(jù)位，然后共享梯度。它們共享數(shù)萬億個(gè)數(shù)字。因此，你在比較以數(shù)萬億個(gè)數(shù)字共享知識的能力和以數(shù)百位共享知識的能力，它們在共享方面比我們強(qiáng)得多。

Feifei：

所以，Geoff，我想說，我同意你在技術(shù)層面上的觀點(diǎn)。但對你來說，這聽起來像是一個(gè)讓你感到非常消極的時(shí)刻。

Hinton：我想，這是我們已經(jīng)成為歷史的時(shí)刻，對嗎？

Feifei：是的，我沒有你那么消極，我稍后會(huì)解釋原因。但我認(rèn)為這是我們需要面對的問題。

實(shí)際上，讓我們來談?wù)勥@個(gè)。解釋一下Feifei你為什么樂觀，讓我們了解一下Geoff你為什么更悲觀。

Hinton：我很悲觀，因?yàn)楸^主義者通常都是對的。

Feifei：

我也以為自己是個(gè)悲觀主義者。我們進(jìn)行了這樣的對話。所以我不知道我是否應(yīng)該被稱為樂觀主義者。我想我是……你看，當(dāng)你 15 歲來到一個(gè)國家，不會(huì)說任何語言，從零開始，我的想法非常務(wù)實(shí)。

我認(rèn)為我們?nèi)祟惻c技術(shù)的關(guān)系，比學(xué)者通常預(yù)測的要復(fù)雜得多。

因?yàn)槲覀儚南笱浪镞M(jìn)入學(xué)術(shù)界，我們想要有所發(fā)現(xiàn)，我們想要打造一項(xiàng)技術(shù)。但我們傾向于純粹主義。然而，當(dāng)像人工智能這樣的技術(shù)落地并達(dá)到社會(huì)層面時(shí)，它不可避免地會(huì)與人類的行為糾纏在一起。也許這就是你稱之為樂觀的地方。這是我的人性意識，我相信人性。我不僅相信人類的韌性，也相信集體意志。歷史的弧線有時(shí)是危險(xiǎn)的，但如果我們做正確的事，我們就有機(jī)會(huì)。我們有機(jī)會(huì)創(chuàng)造一個(gè)更好的未來。

所以現(xiàn)在我真正感受到的并不是盲目的樂觀，這實(shí)際上是一種緊迫感和責(zé)任感。Geoff，有一件事我真的希望你能感到積極，那就是看看這一代的學(xué)生。在我的課堂上，我每年春天都會(huì)給 600 名本科生講授深度學(xué)習(xí)和計(jì)算機(jī)視覺入門課程。這一代人與五年前相比有很大不同。他們走進(jìn)我們的課堂，不僅想學(xué)習(xí)深度學(xué)習(xí)Transformer、人工智能，還想談?wù)摰赖?。他們想談?wù)撜?，他們想了解隱私和偏見。

我認(rèn)為這真的是我看到人類崛起的地方。我認(rèn)為這是脆弱的。看看華盛頓的世界正在發(fā)生什么，它非常脆弱。但我認(rèn)為如果我們認(rèn)識到這個(gè)時(shí)刻，就有希望。所以我看到了同樣的事情。

Hinton：

我不再教本科生了，但我在更多的初級教職員工身上看到了這一點(diǎn)。例如，在多倫多大學(xué)，有兩位極其聰明的年輕教授，他們前往人類學(xué)系進(jìn)行排列研究。因此，現(xiàn)在確實(shí)發(fā)生了巨大的轉(zhuǎn)變。我認(rèn)為我可能無法提供解決這個(gè)問題的思路。但我可以鼓勵(lì)這些年輕人，這些大約40歲的年輕人，去研究這些想法。他們現(xiàn)在確實(shí)在進(jìn)行研究，并且對此非常認(rèn)真。

Feifei：

只要我們把像你們這樣最聰明的人，比如我在觀眾席和網(wǎng)上看到的人，投入到這個(gè)問題中，這就是我所寄予的希望。

Geoff，你離開谷歌的主要原因是為了能夠以你想要的方式自由地談?wù)撨@個(gè)問題。

Hinton：但實(shí)際上，這并非事實(shí)，這只是媒體的報(bào)道。

聽起來很好，但我離開谷歌是因?yàn)槲夷昙o(jì)大了，累了，想退休，看Netflix。而我當(dāng)時(shí)恰好有機(jī)會(huì)說出一些我一直在思考的關(guān)于責(zé)任的事情，而不必?fù)?dān)心谷歌會(huì)如何回應(yīng)。如果我們有時(shí)間的話，我們會(huì)回到Netflix推薦上。(笑)

與此同時(shí)，你確實(shí)開始在媒體上發(fā)表一些相當(dāng)重要的言論。

我認(rèn)為在過去的八個(gè)月里，你們倆與政治家交談的次數(shù)可能比你們以前與總統(tǒng)和總理交談的次數(shù)還要多，從國會(huì)到議會(huì)等等。Geoff，你能解釋一下你的擔(dān)憂是什么嗎？你表達(dá)出來的目的是什么？你認(rèn)為這樣做是否有效？

Hinton：

是的，人們談?wù)撊斯ぶ悄艿娘L(fēng)險(xiǎn)，但風(fēng)險(xiǎn)有很多種。存在一種風(fēng)險(xiǎn)，即它會(huì)奪走工作崗位，而不是創(chuàng)造那么多工作崗位。因此，我們將有一個(gè)失業(yè)的底層階級。我們需要對此深感擔(dān)憂，因?yàn)槿斯ぶ悄軐?dǎo)致生產(chǎn)力人數(shù)的增加，而失業(yè)的人不會(huì)分享這一增長。富人會(huì)越來越富，窮人會(huì)越來越窮。即使你有基本收入，也無法解決人類尊嚴(yán)問題，因?yàn)樵S多人都希望有一份工作，以感覺自己在做一些重要的事情，包括學(xué)術(shù)工作。這是一個(gè)問題。

然后是假新聞的問題，這是一個(gè)完全不同的問題。然后是戰(zhàn)斗機(jī)器人的問題，這也是一個(gè)完全不同的問題。所有大型國防部門都想制造戰(zhàn)斗機(jī)器人，但沒有人會(huì)阻止他們。這將是可怕的。也許最終，在我們與戰(zhàn)斗機(jī)器人進(jìn)行過一些戰(zhàn)爭之后，我們會(huì)得到類似日內(nèi)瓦公約的東西，就像我們對化學(xué)武器所做的那樣。直到它們被使用后，人們才可以做些什么。

然后是生存風(fēng)險(xiǎn)，這是我最擔(dān)心的。生存風(fēng)險(xiǎn)是指人類被消滅，因?yàn)槲覀冮_發(fā)了一種更好的智能形式，決定掌控一切。如果它變得比我們聰明得多，那么這里就會(huì)有很多假設(shè)。這是一個(gè)充滿巨大不確定性的時(shí)代。我想要強(qiáng)調(diào)的是，你不應(yīng)該過于認(rèn)真地對待我所說的每一句話。因此，如果我們創(chuàng)造出比我們更聰明的實(shí)體，這些數(shù)字智能可以更好地進(jìn)行信息共享，從而使你能夠?qū)W習(xí)到更多的知識。我們將不可避免地讓這些智能實(shí)體創(chuàng)造出子目標(biāo)。

如果你想讓這些智能實(shí)體去完成某項(xiàng)任務(wù)，為了達(dá)成這個(gè)目標(biāo)，他們會(huì)發(fā)現(xiàn)，首先需要完成一些其他的任務(wù)。例如，如果你想去歐洲，你首先需要去機(jī)場。這就是一個(gè)子目標(biāo)。因此，他們會(huì)制定出子目標(biāo)。其中一個(gè)非常明顯的子目標(biāo)就是，如果你想完成任何任務(wù)，你需要獲取更多的權(quán)力。如果你獲得了更多的控制權(quán)，完成任務(wù)就會(huì)變得更加容易。因此，任何能夠創(chuàng)造子目標(biāo)的實(shí)體都會(huì)創(chuàng)造出獲取更多控制權(quán)的子目標(biāo)。如果比我們聰明得多的實(shí)體想要獲取控制權(quán)，他們就會(huì)這樣做。我們將無法阻止他們。因此，我們必須找到方法阻止他們獲取控制權(quán)。幸運(yùn)的是，我們還有一些希望。

這些智能實(shí)體并沒有經(jīng)過進(jìn)化。他們并不是那種令人討厭的競爭性實(shí)體。無論我們?nèi)绾蝿?chuàng)造他們，他們都是如此。他們是不朽的。因此，有了數(shù)字智能，你只需要將數(shù)據(jù)存儲(chǔ)在某個(gè)地方。你可以隨時(shí)在其他硬件上再次運(yùn)行它。因此，我們實(shí)際上已經(jīng)發(fā)現(xiàn)了永生的秘密。唯一的問題是，這并不適用于我們。我們是凡人。但這些其他實(shí)體是不朽的。這可能會(huì)使他們變得更好，因?yàn)樗麄儾恍枰獡?dān)心死亡。他們并不需要像希臘諸神那樣。他們其實(shí)很像希臘諸神。

我必須要提到一些伊隆·馬斯克告訴我的話。這是伊隆·馬斯克的信念。他認(rèn)為，我們是數(shù)字智能的引導(dǎo)程序。我們是這種相對愚蠢的智能形式。我們足夠聰明，可以創(chuàng)造計(jì)算機(jī)和人工智能。這將是一種更聰明的智能形式。而伊隆·馬斯克認(rèn)為，這會(huì)讓我們繼續(xù)存在。因?yàn)橛腥说氖澜鐣?huì)比沒有人的世界更有趣。這似乎是一條懸在你未來上的細(xì)線。但這與飛飛所說的有關(guān)。這很像希臘諸神的模型。諸神身邊有人陪他們玩。

Feifei：

我可以對此發(fā)表評論嗎？我說的都不是爭議性的。

所以我想把你的四個(gè)擔(dān)憂歸為一類。經(jīng)濟(jì)、勞動(dòng)力、虛假信息和武器化。然后是滅絕，希臘諸神。我忘了歧視和偏見。所以我想把它們分成兩類。希臘諸神滅絕是滅絕桶。其他一切都我稱之為災(zāi)難性的。僅僅是災(zāi)難性的。災(zāi)難性的危險(xiǎn)。

我想對此發(fā)表評論。我認(rèn)為，作為人工智能生態(tài)系統(tǒng)中的一員，我真正感到有責(zé)任確保我們不會(huì)夸大其詞。尤其是與公共政策制定者。Geoff，恕我直言，滅絕風(fēng)險(xiǎn)是一個(gè)非常有趣的思考過程，學(xué)術(shù)界和智庫應(yīng)該對此進(jìn)行研究。這是我多年來的想法。我認(rèn)為這還遠(yuǎn)在未來。有哲學(xué)家和學(xué)者致力于這個(gè)領(lǐng)域，這真是令人欣慰。我個(gè)人認(rèn)為這個(gè)領(lǐng)域更為有趣。然而，這個(gè)過程并非僅僅涉及到機(jī)器，人類也是這個(gè)復(fù)雜過程的參與者。因此，我認(rèn)為在這個(gè)過程中存在許多微妙的差異。

以核能為例，我們討論的核能，其范圍實(shí)際上要比我們想象的要狹窄得多。但如果你深入考慮，你會(huì)發(fā)現(xiàn)核能并不僅僅是關(guān)于核聚變或裂變理論，它實(shí)際上涉及到獲取鈾或钚，系統(tǒng)工程，以及人才等多個(gè)方面。我相信你一定看過關(guān)于奧本海默的電影。因此，如果我們能朝這個(gè)方向前進(jìn)，我認(rèn)為我們有機(jī)會(huì)，而且不止一個(gè)，因?yàn)槲覀兪且粋€(gè)人類社會(huì)。我們需要設(shè)立防護(hù)措施，我們需要共同努力。

我并不希望描繪出這樣的畫面：明天我們將擁有所有這些機(jī)器人，尤其是機(jī)器人形式、物理形式，創(chuàng)造出機(jī)器霸主。我真的認(rèn)為我們需要謹(jǐn)慎行事。但我并不反對你的觀點(diǎn)，這是我們需要考慮的事情。

所以這就是滅絕的可能性。我認(rèn)為災(zāi)難性風(fēng)險(xiǎn)更為現(xiàn)實(shí)。我認(rèn)為我們需要最聰明的人，越多越好。所以，對于每一個(gè)發(fā)表的評論，我們都需要認(rèn)真對待。武器化，這是一個(gè)非?，F(xiàn)實(shí)的問題。我完全同意你的觀點(diǎn)。我們需要建立國際伙伴關(guān)系，我們需要制定潛在的條約，我們需要了解參數(shù)。盡管我對人類持樂觀態(tài)度，但我對我們的自我毀滅能力以及相互毀滅的能力也持悲觀態(tài)度。因此，我們必須讓人們致力于這個(gè)問題。我們的朋友斯圖爾特·羅素和許多人工智能專家都在討論這個(gè)問題。

你提到的第二個(gè)問題是虛假信息。再次強(qiáng)調(diào)，到2024年，每個(gè)人都會(huì)關(guān)注美國大選以及人工智能將如何發(fā)揮作用。我認(rèn)為我們必須解決社交媒體問題，我們必須解決虛假信息問題。從技術(shù)角度來看，我現(xiàn)在看到了更多的工作。從技術(shù)角度來看，數(shù)字認(rèn)證實(shí)際上是一個(gè)非?；钴S的研究領(lǐng)域。我認(rèn)為我們需要在這方面進(jìn)行投資。我知道Adobe正在做這方面的工作，我知道學(xué)術(shù)界也在做這方面的工作。我認(rèn)為我們需要這樣做。我希望這個(gè)領(lǐng)域確實(shí)有初創(chuàng)公司在研究數(shù)字身份驗(yàn)證。但我們也需要政策。

然后是工作問題。我非常同意你的觀點(diǎn)。實(shí)際上，我認(rèn)為最重要的工作是人工智能辯論的核心，那就是人類尊嚴(yán)。人類尊嚴(yán)不僅僅是你賺了多少錢，工作了多少小時(shí)。我真的認(rèn)為，如果我們做得對，我們將從勞動(dòng)經(jīng)濟(jì)轉(zhuǎn)向尊嚴(yán)經(jīng)濟(jì)，在機(jī)器的幫助下，人類將通過合作，憑借熱情、個(gè)性化和專業(yè)知識賺錢，而不僅僅是那些真正艱苦和繁重的工作。這也是為什么人類，斯坦福大學(xué)的HAI，擁有人類增強(qiáng)的創(chuàng)始原則。

我們在醫(yī)療保健中看到了這一點(diǎn)。在GPT最早、最大的一天，我有一位來自斯坦福醫(yī)院的醫(yī)生朋友走到我面前說，飛飛，我想感謝你創(chuàng)建了GPT。我說，我什么也沒做。我們正在使用GPT的醫(yī)療總結(jié)工具，因?yàn)檫@對我們的醫(yī)生來說是一個(gè)巨大的負(fù)擔(dān)。這個(gè)工具占用了患者的時(shí)間，但正因?yàn)槿绱耍业玫搅烁嗟臅r(shí)間。這是一個(gè)完美的例子，我們會(huì)看到更多這樣的情況，甚至可能在藍(lán)領(lǐng)工人中看到這種情況。因此，我們有機(jī)會(huì)糾正這個(gè)問題。

在災(zāi)難性擔(dān)憂中，另一個(gè)擔(dān)憂實(shí)際上是權(quán)力不平衡。我現(xiàn)在看到的權(quán)力不平衡現(xiàn)象之一就是公共部門被排除在外，而且這種現(xiàn)象正在以極快的速度加劇。我不了解加拿大的情況，但我知道美國沒有一所大學(xué)今天在計(jì)算能力方面可以訓(xùn)練ChatGPT。如果把美國所有大學(xué)加起來，GPT、A100或H100，可能沒有人擁有它，但A100無法訓(xùn)練ChatGPT。

然而，這就是我們?nèi)匀粨碛兄委煱┌Y、應(yīng)對氣候變化、經(jīng)濟(jì)和法律研究的獨(dú)特?cái)?shù)據(jù)的地方。我們需要投資公共部門。如果我們現(xiàn)在不這樣做，我們將讓整整一代人失望。我們將以如此危險(xiǎn)的方式留下這種權(quán)力不平衡。因此，我同意你的觀點(diǎn)。我認(rèn)為我們面臨許多災(zāi)難性風(fēng)險(xiǎn)，我們需要著手解決這一問題。這就是為什么我們需要與政策制定者和公民社會(huì)合作。

我是以樂觀的語氣還是悲觀的語氣說這句話，但現(xiàn)在聽起來更悲觀。然而，我確實(shí)認(rèn)為還有很多工作要做。

樂觀地說，由于你們在過去六、八個(gè)月里一直直言不諱，情況發(fā)生了巨大轉(zhuǎn)變，正如Geoff所說，關(guān)鍵研究人員開始關(guān)注這些問題，然后公眾和政策也發(fā)生了轉(zhuǎn)變，各國政府實(shí)際上開始認(rèn)真對待它。

因此，你正在為白宮和美國政府提供建議。你也和他們談過了。你可能和總理或多位總理坐在一起。他們正在傾聽，對吧，10個(gè)月前、12個(gè)月前他們不一定會(huì)有這種傾聽方式。

Hinton：

我樂觀地認(rèn)為，人們已經(jīng)意識到存在著一大堆問題，既有災(zāi)難性風(fēng)險(xiǎn)，也有生存風(fēng)險(xiǎn)。我完全同意Feifei的觀點(diǎn)。災(zāi)難性風(fēng)險(xiǎn)更加緊迫，特別是2024年，非常緊迫。我非常樂觀地認(rèn)為，人們現(xiàn)在正在傾聽。

Feifei:

我同意，我認(rèn)為他們在傾聽。我想說的是，首先，你是在聽誰的意見？我看到公共部門和私營部門之間的不對稱。即使在私營部門，你也在聽誰的意見？不應(yīng)該只是大型科技公司和名人初創(chuàng)公司。有很多農(nóng)業(yè)部門、教育部門。這些都是……第二，那么，在所有這些噪音之后，什么是好的政策？我們談?wù)摫O(jiān)管與無監(jiān)管。他實(shí)際上不知道加拿大處于什么位置?？偸敲绹鴦?chuàng)新，歐洲監(jiān)管。"加拿大位于哪里？"這個(gè)問題可能存在多種答案。對于你來說，答案可能是介于兩者之間。這是一個(gè)很好的答案，對你來說也是很好的。

我認(rèn)為我們實(shí)際上需要的是激勵(lì)政策、公共部門的建設(shè)以及釋放數(shù)據(jù)的力量。我們的政府掌握著大量的數(shù)據(jù)，包括森林火災(zāi)數(shù)據(jù)、野生動(dòng)物數(shù)據(jù)、交通數(shù)據(jù)、氣候數(shù)據(jù)，以及激勵(lì)機(jī)制等。接下來，我們需要良好的監(jiān)管。例如，我們需要直言不諱地面對監(jiān)管問題，而且必須非常小心地進(jìn)行監(jiān)管。你可能會(huì)問，應(yīng)該在哪里進(jìn)行監(jiān)管？我的答案是，無論是上游還是下游，都需要進(jìn)行監(jiān)管。

對我來說，最緊迫的監(jiān)管要點(diǎn)之一是在橡膠與道路接觸的地方。這是當(dāng)技術(shù)以產(chǎn)品或服務(wù)的形式出現(xiàn)時(shí)，它將與人們見面，無論是通過藥品、食品、金融服務(wù)還是交通。然后，你就會(huì)得到當(dāng)前的監(jiān)管框架。這些框架離完美并不遠(yuǎn)，但我們需要增強(qiáng)并更新這個(gè)現(xiàn)有的框架，而不是浪費(fèi)時(shí)間去創(chuàng)建全新的監(jiān)管框架，這可能是一個(gè)錯(cuò)誤的決定。

好的，我們的討論部分的時(shí)間快到了，但我們將進(jìn)行長時(shí)間的問答環(huán)節(jié)。在我們開始之前，我想問最后兩個(gè)問題。首先，我們認(rèn)為這項(xiàng)技術(shù)將影響幾乎所有事物，而且一些積極影響是非凡的。它將有助于治愈癌癥、糖尿病等疾病，有助于緩解氣候變化，發(fā)明新材料等。我看到有人專注于此，這可以幫助能源部門、航空航天和制藥業(yè)。這是多倫多大學(xué)的一項(xiàng)重大努力。但是，現(xiàn)在有很多以前無法做到的新事物現(xiàn)在可以做到了。所以，它基本上是以以前是小說或想象的一部分的方式推進(jìn)科學(xué)。你對這部分持樂觀態(tài)度嗎？

Hinton：我認(rèn)為我們都非常樂觀。我認(rèn)為我們都相信它將對幾乎所有領(lǐng)域產(chǎn)生巨大影響。

所以，我認(rèn)為對于在座的各位正在學(xué)習(xí)的人來說，這是一個(gè)非常激動(dòng)人心的時(shí)刻，因?yàn)橛袡C(jī)會(huì)參與限制負(fù)面影響和負(fù)面后果，同時(shí)也有機(jī)會(huì)參與創(chuàng)造所有這些機(jī)會(huì)來解決一些問題，這些問題自從我們作為一個(gè)物種出現(xiàn)以來就一直伴隨著我們。所以，我認(rèn)為，至少從我們的角度來看，這確實(shí)是人類歷史上最不尋常的時(shí)刻之一。

我希望些剛剛開始職業(yè)生涯的人能夠真正走出去，追求最雄心勃勃的事情。你也可以努力優(yōu)化廣告和其他事情，或者制作更多的Netflix節(jié)目，這很好。但是，我媽媽也會(huì)這樣，我認(rèn)為她已經(jīng)厭倦了Netflix。如果有土耳其或韓國節(jié)目，她已經(jīng)看過最后一集了。

但是對于那些剛剛開始從事這一職業(yè)的人，我的建議是，試著想想最大的挑戰(zhàn)是什么，以及你可以用這項(xiàng)技術(shù)來幫助解決什么問題，這是非常雄心勃勃的。你們都做到了這一點(diǎn)，并且一路上都在與障礙作斗爭，以實(shí)現(xiàn)這一目標(biāo)。我想，房間里擠滿了人，網(wǎng)上有很多人，其他人隨后會(huì)看到這一點(diǎn)，他們正處于做出這些決定的初始階段。我想，我猜你也會(huì)鼓勵(lì)他們這樣做，盡可能地大膽思考，迎接最大、最艱難的挑戰(zhàn)。

Feifei：

確實(shí)如此。我會(huì)接受這一點(diǎn)，但我也會(huì)鼓勵(lì)他們，因?yàn)檫@是這項(xiàng)技術(shù)的新篇章。即使你認(rèn)為自己是一名技術(shù)專家和科學(xué)家，也不要忘記你身上也有人文主義，因?yàn)槟阈枰獌烧卟拍転槭澜鐜矸e極的改變。

好的，最后一個(gè)問題，然后我們將進(jìn)入觀眾的問答環(huán)節(jié)。我們是否已經(jīng)到了這些機(jī)器具有理解力和智能的階段？

Feifei：哇，這是最后一個(gè)問題。我們有多少小時(shí)？（笑）

Hinton：Yes。

Feifei：No。

(觀眾大笑，鼓掌）

=QnA=

謝謝。我叫艾莉。這太棒了，非常感謝。Geoff，你的工作真的激勵(lì)了我作為一名多倫多大學(xué)的學(xué)生去學(xué)習(xí)認(rèn)知科學(xué)，聽到你們兩個(gè)的演講真是太棒了。

我有一個(gè)問題。您提到了教育面臨的挑戰(zhàn)，以及如何讓大學(xué)有能力讓學(xué)生使用這項(xiàng)技術(shù)進(jìn)行學(xué)習(xí)。Feifei，您還提到，這有機(jī)會(huì)成為一種尊嚴(yán)經(jīng)濟(jì)，讓人們專注于個(gè)性化、激情和專業(yè)知識。我想知道你們是否對過度使用和過度依賴人工智能可能帶來的挑戰(zhàn)有自己的看法，尤其是對孩子和學(xué)生來說，因?yàn)樗麄冋幱诮逃闹?，他們需要培養(yǎng)技能，使用大腦，鍛煉大腦中的肉體。如果不學(xué)習(xí)，我們的大腦就不會(huì)一直工作而不積累蜘蛛網(wǎng)。

是的，我想知道你對倦怠和過度依賴的看法，以及當(dāng)你可以使用Stable Diffusion時(shí)學(xué)習(xí)繪畫的能力，或者當(dāng)你可以讓ChatGPT 為你學(xué)習(xí)像莎士比亞一樣寫作時(shí)，技能下降和學(xué)習(xí)繪畫的能力會(huì)發(fā)生什么。然后，隨著這些系統(tǒng)的進(jìn)步，可以積累更深刻的見解和更復(fù)雜的問題解決能力，這會(huì)如何影響我們做同樣事情的能力。

Hinton：

所以我對此有一個(gè)小小的想法，那就是當(dāng)袖珍計(jì)算器首次問世時(shí)，人們說孩子們會(huì)忘記如何做算術(shù)。但這并沒有成為一個(gè)大問題。我認(rèn)為孩子們可能確實(shí)忘記了如何做算術(shù)，但他們得到了袖珍計(jì)算器。但這可能不是一個(gè)很好的比喻，因?yàn)樾湔溆?jì)算器并不比他們聰明。孩子們可能會(huì)忘記做算術(shù)，然后去做真正的數(shù)學(xué)。但對于這個(gè)東西，我不知道。

就我個(gè)人而言，我發(fā)現(xiàn)它實(shí)際上讓我對世界更加好奇，因?yàn)槲覠o法忍受去圖書館花半個(gè)小時(shí)找相關(guān)書籍并查閱一些東西?，F(xiàn)在我只需問 GPT 聊天任何問題，它就會(huì)告訴我答案。我會(huì)相信它，這也許不是正確的做法。但它實(shí)際上讓我對世界更加好奇，因?yàn)槲铱梢愿斓氐玫酱鸢浮?/p>

Feifei：

所以這些年。所以我會(huì)用一個(gè)非常簡短的故事來回答這個(gè)問題。我不確定你們的觀點(diǎn)如何，但自我擔(dān)任斯坦福大學(xué)教授以來，我一直對一個(gè)神秘的地方充滿好奇，那就是大學(xué)的招生辦公室。對我來說，他們是最神秘的存在。我一直不清楚他們的具體位置，他們是誰，他們在哪里工作，直到今年早些時(shí)候我接到了一個(gè)電話。

他們希望與我討論ChatGPT以及大學(xué)錄取的問題。所以，問題就變成了，我們是否應(yīng)該允許在申請過程中使用ChatGPT？有了ChatGPT，我們應(yīng)該如何進(jìn)行錄取呢？因此，我回家與我的11歲孩子進(jìn)行了討論。

我告訴他，我接到了這個(gè)電話，有關(guān)于大學(xué)錄取的問題。我們應(yīng)該如何處理ChatGPT和學(xué)生的關(guān)系？如果學(xué)生寫了一份極好的申請，我們應(yīng)該如何應(yīng)對？我們是否應(yīng)該使用ChatGPT等工具？然后我問他，如果是你，你會(huì)怎么做？

我問我11歲的孩子，他說他需要一些時(shí)間思考。他實(shí)際上回去睡了一會(huì)兒，或者我不清楚他做了什么。第二天早上，他告訴我，他已經(jīng)想出了答案。

我問他，你的答案是什么？他說，他認(rèn)為斯坦福大學(xué)應(yīng)該錄取最懂得如何使用ChatGPT的前2000名學(xué)生。起初，我覺得這個(gè)答案有些荒謬，但實(shí)際上，這是一個(gè)非常有趣的答案。孩子們已經(jīng)將它視為一種工具，他們將自己與這個(gè)工具的關(guān)系視為一種賦能。

顯然，我的11歲孩子并不知道如何衡量這一點(diǎn)，也不清楚這意味著什么等等。但我認(rèn)為我們應(yīng)該在教育中這樣看待它，我們應(yīng)該更新我們的教育方式。我們不能像Geoff所說的那樣，將這個(gè)工具排除在我們的教育之外。我們需要接受它并教育人類，讓他們知道如何利用這個(gè)工具來為自己謀利。

我想問一下，我們現(xiàn)在有非常好的基礎(chǔ)模型。但在許多應(yīng)用中，我們需要模型的實(shí)時(shí)性能。那么，您如何看待這個(gè)領(lǐng)域的未來發(fā)展，這個(gè)研究領(lǐng)域的未來發(fā)展，您知道，利用這些專家基礎(chǔ)模型的能力來訓(xùn)練快速、較小的模型？

Feifei：

你在談?wù)撏评?，我們需要開始考慮性能、推理，還要根據(jù)具體情況，在設(shè)備上安裝模型。不談技術(shù)細(xì)節(jié)，所有這些研究，甚至在研究之外，都在發(fā)生。這正在發(fā)生。但這需要一段時(shí)間。

我是Ariel。我也是多倫多大學(xué)機(jī)器學(xué)習(xí)專業(yè)的三年級跨科學(xué)學(xué)生。談話非常精彩。然后，我要感謝你，Hinton教授和李飛飛教授。

我只想問一個(gè)問題，也許這個(gè)房間里的很多本科生或研究生也對此感興趣。那么，就像你們二十多歲的時(shí)候，是什么促使你們成為一名研究員？是什么促使你們進(jìn)入人工智能學(xué)術(shù)領(lǐng)域？因?yàn)槲椰F(xiàn)在有點(diǎn)困惑，我應(yīng)該繼續(xù)在工業(yè)界工作，還是直接攻讀博士學(xué)位？或者先攻讀碩士學(xué)位，然后回到工業(yè)界？

我還有一個(gè)問題，你們通常會(huì)尋找什么人？比如如果我申請直接進(jìn)入你們的實(shí)驗(yàn)室攻讀博士學(xué)位？比如GPA、出版物或推薦信？你們能詳細(xì)說明一下嗎？謝謝。

(主持人) 我想房間里大約有300人，網(wǎng)上大約有6000人想問你這個(gè)問題

Feifei: Geoff你想開始嗎？你二十多歲的時(shí)候？

Hinton:

哦，我十幾歲的時(shí)候就對大腦的工作原理感興趣，因?yàn)槲以趯W(xué)校有一個(gè)非常聰明的朋友，有一天他來學(xué)校談?wù)撊D，以及大腦中的記憶可能就像全息圖一樣。我基本上問，全息圖是什么？從那時(shí)起，我就對大腦的工作原理感興趣。所以很幸運(yùn)在學(xué)校有一個(gè)非常聰明的朋友。

Feifei：

我會(huì)非常厚顏無恥地……如果你讀過我的書，那實(shí)際上就是這本書的內(nèi)容。

不，說真的，我實(shí)際上告訴過喬丹和Geoff，有很多關(guān)于技術(shù)的人工智能書籍。當(dāng)我開始寫這本關(guān)于人工智能技術(shù)的書時(shí)，我想寫一段旅程，特別是寫給年輕人，特別是寫給各行各業(yè)的年輕人，而不僅僅是某種特定的視角。那本書講述了一個(gè)年輕女孩在不同環(huán)境中實(shí)現(xiàn)或理解自己的夢想并實(shí)現(xiàn)夢想的旅程。這與Geoff所說的并沒有什么不同。一切都始于激情。

它確實(shí)始于激情，一種反對所有其他聲音的激情。激情可能來自朋友。它可能來自你看過的電影。它可能來自你讀過的一本書，也可能來自你覺得最有趣的學(xué)校里最好的科目，不管它是什么。在我雇傭的學(xué)生中，我尋找的是那種激情。我尋找的是雄心壯志，一種想要做出改變的健康雄心壯志，而不是想要獲得學(xué)位本身。當(dāng)然，從技術(shù)角度來說，我看重的是良好的技術(shù)背景，而不僅僅是考試成績，但老實(shí)說，我永遠(yuǎn)也不會(huì)進(jìn)入自己的實(shí)驗(yàn)室。如今的標(biāo)準(zhǔn)如此之高。

所以，當(dāng)你申請博士學(xué)位或研究生課程時(shí)，你可能已經(jīng)有一些過往的記錄了。當(dāng)然，這并非一定要這樣。如果是Geoff的學(xué)生，我會(huì)毫不猶豫地錄取他們。但我想說的是，無論你是多倫多大學(xué)的學(xué)生，還是網(wǎng)絡(luò)上的學(xué)生，無論你的背景如何，甚至可能你來自貧困家庭，我關(guān)注的并不是你來自何處，而是你的人生旅程。那份記錄揭示了你的旅程，展示了你的熱情和信念。

主持人：讀完這本書后，我想說，對于大多數(shù)讀者來說，這都是一段非常令人驚訝的旅程。順便提一下，如果你在加拿大，可以去Indigo購買。你也可以在indigo.ca預(yù)訂這本書。我相信人們會(huì)對此感到驚訝，并且真的會(huì)喜歡閱讀和理解這種體驗(yàn)。回答這個(gè)問題時(shí)，你會(huì)得到很好的理解。謝謝。

嘿，感謝你的精彩演講。我叫Shalev，我在Vector Institute與Sheila McIlrath一起工作。我認(rèn)為基準(zhǔn)非常重要。基準(zhǔn)就像問題。ImageNet基本上是一個(gè)問題，然后人們試圖用模型來回答它。所以現(xiàn)在，LLM很難評估。而對于采取行動(dòng)的通才代理，甚至很難開始思考如何評估它們。所以我的問題是關(guān)于問題的，是關(guān)于這些基準(zhǔn)的。

所以有兩件事。第一，如果你坐下來使用GPT-5、GPT-6、GPT-7，并且你有五分鐘的時(shí)間來玩它，你會(huì)問什么問題來告訴你這是這些模型的下一代？第二個(gè)是一個(gè)更全面的基準(zhǔn)。為了評估LLM或通用代理，我們需要更全面的、而不是五分鐘的基準(zhǔn)是什么？我想，您可以選擇您想要思考或回答的那個(gè)。好的。謝謝。

Hinton：

感謝您的提問，這是一個(gè)非常好的問題。我將回答另一個(gè)與此略微相關(guān)的問題。這個(gè)問題出現(xiàn)在GPT-4中。你如何判斷它是否聰明？特別是，我和一個(gè)叫Hector Levesque的人交談過，他曾經(jīng)是計(jì)算機(jī)科學(xué)的一名教員，他的信仰幾乎與我截然相反，但在智力上非常誠實(shí)。他對GPT-4的工作原理感到很驚訝，他想知道它是如何工作的。所以我們花了一些時(shí)間談?wù)撨@個(gè)問題。然后我讓他給我一些問題來問它。他給了我一系列問題來問它，這樣我們就可以決定它是否理解了。所以問題是，它真的明白自己在說什么嗎？或者它只是使用一些花哨的統(tǒng)計(jì)數(shù)據(jù)來預(yù)測下一個(gè)詞？關(guān)于這一點(diǎn)的一個(gè)評論是，你能很好地預(yù)測下一個(gè)詞的唯一方法是理解這個(gè)人說了什么。所以你必須理解才能預(yù)測。但即使不去理解，你也能做出很好的預(yù)測。那么，GPT-4真的理解了嗎？

Hector提出了一個(gè)問題，他說：“我的家中的房間被漆成了白色、黃色或藍(lán)色，我希望所有的房間都是白色的，我該怎么辦？”我知道GPT-4能夠解決這個(gè)問題。然后我把問題變得更復(fù)雜，我說：“我的家中的房間被漆成了白色、黃色或藍(lán)色，黃色的油漆在一年內(nèi)就會(huì)褪色成白色，兩年后，我希望所有的房間都是白色的，我該怎么辦？”ChatGPT給出了答案，它說：“你應(yīng)該把藍(lán)色的房間漆成白色，你不必?fù)?dān)心黃色的房間，因?yàn)樗鼈儠?huì)褪色成白色。”

事實(shí)證明，GPT-4對措辭非常敏感。如果你不使用“褪色”，而是使用“變化”，它的答案可能會(huì)不同。有人抱怨說，他們試過了，但沒用，他們用“變化”代替了“褪色”。關(guān)鍵在于，如果我們理解“褪色”意味著改變顏色并保持變化，但是如果你說“改變”，它會(huì)改變顏色，但它可能會(huì)變回原樣。所以如果你說“改變”而不是“褪色”，它不會(huì)給出相同的答案。這讓我相信GPT-4確實(shí)理解了。

GPT-4還做了其他事情。最近，人們提出了一個(gè)問題，許多聊天機(jī)器人都沒有正確回答，有些人也沒有正確回答。但GPT-4回答正確了。所以，我在回答這個(gè)問題：“GPT-4理解了嗎？”這和你問的問題有一定關(guān)系。

問題是這樣的：莎莉有三個(gè)兄弟，她的每個(gè)兄弟都有兩個(gè)姐妹，莎莉有幾個(gè)姐妹？大多數(shù)聊天機(jī)器人都答錯(cuò)了。人類呢？我剛剛在拉斯維加斯進(jìn)行了一次爐邊談話，面試官讓我舉了一個(gè)例子，說明聊天機(jī)器人出錯(cuò)的地方。我給他舉了這個(gè)例子，他說六。這有點(diǎn)尷尬，我們不會(huì)問他的名字，只是開玩笑。

人們會(huì)弄錯(cuò)，但我不明白，如果你不能進(jìn)行一定程度的推理，你如何能做到這一點(diǎn)。它必須建立一個(gè)模型。Andrew Ng舉了這些例子，比如在玩黑白棋時(shí)，即使你只是給它字符串作為輸入，它也會(huì)內(nèi)部建立一個(gè)棋盤模型。所以我認(rèn)為他們確實(shí)理解。

主持人：再進(jìn)一步說，這種理解是否跨越了智能的界限？你說是的？

Hinton：是的，我接受圖靈測試的智能。當(dāng)我們通過圖靈測試時(shí)，人們開始拒絕它。這就是我所說的移動(dòng)目標(biāo)線。

Feifei：

我想快速回答。首先，也要為你提出這么好的問題鼓掌。除了回答Geoff的問題，我還需要解答另一個(gè)問題。我認(rèn)為Geoff實(shí)際上在探討的是，我們應(yīng)如何評估這些大型模型的基本智能水平？然而，這個(gè)問題還有其他幾個(gè)維度。

首先，斯坦福大學(xué)的HAI基礎(chǔ)模型研究中心正在制定這些評估指標(biāo)，你可能正在閱讀Percy Helm等人的論文。我認(rèn)為這項(xiàng)技術(shù)已經(jīng)變得如此深?yuàn)W，以至于一些基準(zhǔn)測試比你認(rèn)為的ImageNet基準(zhǔn)測試更加復(fù)雜。例如，現(xiàn)在我們正在與政府機(jī)構(gòu)合作，如美國的國家標(biāo)準(zhǔn)技術(shù)研究所（NIST）。我們需要開始根據(jù)社會(huì)相關(guān)問題進(jìn)行基準(zhǔn)測試，而不僅僅是核心基本能力。

我還想稍微擴(kuò)大你的視野，那就是除了LLM學(xué)位之外，還有許多面向人工智能未來的技術(shù)我們實(shí)際上還沒有建立良好的基準(zhǔn)。我的實(shí)驗(yàn)室正在進(jìn)行一些機(jī)器人學(xué)習(xí)研究，谷歌昨天剛剛發(fā)布了有關(guān)機(jī)器人學(xué)習(xí)的論文。因此，該領(lǐng)域?qū)?huì)有更多的研究出現(xiàn)。

你好，我是Vishwam，是圭爾夫大學(xué)的研究生。我正在撰寫有關(guān)人工智能和農(nóng)業(yè)的論文。您剛才提到，大學(xué)沒有足夠的資金來培養(yǎng)基礎(chǔ)模型，我遇到了同樣的問題。我想從事人工智能和農(nóng)業(yè)工作，我對此充滿熱衷，但我沒有足夠的資源來做到這一點(diǎn)。我可能想到了一個(gè)非常好的架構(gòu)，但我無法訓(xùn)練它。所以也許我可以去工業(yè)界，然后向他們推銷這個(gè)想法，但我對這個(gè)想法卻沒有控制權(quán)。我不知道他們將如何運(yùn)用它。那么您對于如何處理這種情況有什么建議嗎？

Hinton：

如果您可以獲得開源基礎(chǔ)模型，您就可以使用比構(gòu)建模型少得多的資源來對其中一個(gè)模型進(jìn)行微調(diào)。因此大學(xué)仍然可以對這些模型進(jìn)行微調(diào)。

Feifei：

目前這是一個(gè)非常務(wù)實(shí)的答案，但這正是我們一直在與高等教育領(lǐng)導(dǎo)者以及政策制定者討論投資公共部門的問題。我們必須擁有一個(gè)國家研究云。我不知道加拿大是否有國家研究云，但我們正在推動(dòng)美國。我們需要引進(jìn)像您這樣的研究人員來訪問國家研究云。但作為非公司，你有一個(gè)優(yōu)勢，那就是你有更多的機(jī)會(huì)獲得獨(dú)特的數(shù)據(jù)集，特別是用于公共利益的數(shù)據(jù)集，并充分利用這張牌。您可以與政府機(jī)構(gòu)或社區(qū)或其他任何機(jī)構(gòu)合作，因?yàn)楣膊块T仍然享有信任并可以利用這一點(diǎn)。但就目前而言，是的，對開源模型進(jìn)行微調(diào)。

（主持人）好的，我們將回答幾個(gè)問題。我們有數(shù)千人在線觀看。觀看在斯坦福和其他地方舉行的聚會(huì)。那么，我們來看看是否能從網(wǎng)絡(luò)上的一些人那里得到一個(gè)問題。Leah將代表網(wǎng)絡(luò)上的某人提出這個(gè)問題。順便提一下，她和Aaron Brindle一起為實(shí)現(xiàn)這一目標(biāo)付出了大量的努力。因此，我要感謝你們兩位。

我們確實(shí)有數(shù)百名在線的人工智能研究人員，他們正在創(chuàng)建以人工智能為優(yōu)先的公司。第一個(gè)獲得最多贊同的問題來自Ben Saunders或Sanders。他目前是一家人工智能初創(chuàng)公司的首席執(zhí)行官，而他的同事實(shí)際上是Geoffrey Hinton在2008年的學(xué)生。他還提出了有關(guān)負(fù)責(zé)任建設(shè)的問題。其中許多問題都與負(fù)責(zé)任的建設(shè)有關(guān)。他們正在思考什么措施可以幫助他們作為團(tuán)隊(duì)成為適當(dāng)?shù)墓芗?，無論好壞，以及成為管家的真正意義。

Feifei：

負(fù)責(zé)任的人工智能框架有很多。我認(rèn)為幾年前有人估計(jì)過，從州、民族國家到企業(yè)，大約有300個(gè)框架。我認(rèn)為對于每家公司來說建立負(fù)責(zé)任的框架確實(shí)非常重要。你可以借鑒很多東西。甚至Radical也在制作一個(gè)或者創(chuàng)建你所相信的價(jià)值框架，并認(rèn)識到AI產(chǎn)品是一個(gè)系統(tǒng)。

因此，從上游定義問題、數(shù)據(jù)集、數(shù)據(jù)完整性、如何構(gòu)建模型、部署和創(chuàng)建多利益相關(guān)者生態(tài)系統(tǒng)或多利益相關(guān)者團(tuán)隊(duì)來幫助你構(gòu)建這個(gè)負(fù)責(zé)任的框架，并建立伙伴關(guān)系，與像我們這樣的學(xué)術(shù)界等公共部門的伙伴關(guān)系，與關(guān)注從隱私到偏見等不同維度的民間社會(huì)的伙伴關(guān)系。因此，真正嘗試既從公司的角度考慮問題，又要成為生態(tài)系統(tǒng)的一部分，并與擁有這些知識的人合作。這就是我目前的建議。

主持人：我想補(bǔ)充一點(diǎn)。關(guān)于Feifei提到的與對此感興趣的人合作，我認(rèn)為投資界有些人正在思考和領(lǐng)導(dǎo)這個(gè)問題。在我們的案例Radical中，我們在每一份條款清單中都寫入了公司采用負(fù)責(zé)任的人工智能的義務(wù)。最初當(dāng)我們這樣做時(shí)，一些讀過它的律師會(huì)問，這是什么？并試圖將其劃掉，但我們又將其放回去了。

但我們也一直在致力于開發(fā)一個(gè)負(fù)責(zé)任的人工智能投資框架，我們將廣泛發(fā)布該框架。我們與世界各地的許多不同組織合作完成了此項(xiàng)工作。過去四年來，我們已經(jīng)與7,000家人工智能公司進(jìn)行了會(huì)面。我認(rèn)為我們已經(jīng)投資了大約40家。因此，我們已經(jīng)看到了很多，并試圖構(gòu)建一個(gè)其他人可以使用的框架，我們將開源它，以便我們能夠開發(fā)它并使其變得更好。但我認(rèn)為，單個(gè)公司只要與志同道合的人接觸，就能做很多事情。

有太多問題了。因此不幸的是，我們只能討論其中的幾個(gè)。但考慮到工業(yè)和私營部門在模型開發(fā)中發(fā)揮的巨大作用，很多問題都與與工業(yè)的關(guān)系有關(guān)。有人提出疑問，即在今天的環(huán)境下，研究人員和各類工程師是否也應(yīng)該學(xué)習(xí)管理課程？

Hinton：

我想分享一段我在谷歌的經(jīng)歷。我曾經(jīng)管理一個(gè)小團(tuán)隊(duì)，每六個(gè)月，我們會(huì)收到一份來自團(tuán)隊(duì)成員的報(bào)告。在我收到的一份報(bào)告中，有人評價(jià)說，Geoff是個(gè)很好的工作伙伴，但他可能需要參加管理課程。然而，如果Geoff參加了管理課程，他可能就不再是我們熟悉的Geoff了。這就是我對管理課程的看法。我沒有比這更好的例子來說明這個(gè)問題了。（觀眾笑）

我叫Elizabeth Gao。我在Cohere工作。

我的問題是，從私營部門的角度來看，我們與所有人合作，將自然語言處理（NLP）和大型語言模型推向更廣泛的社會(huì)。對于擁有大量人才和大量數(shù)據(jù)的特定公共部門、研究機(jī)構(gòu)和大學(xué)來說，如何才能找到一種我們可以做出貢獻(xiàn)、他們也可以做出貢獻(xiàn)的互惠互利的關(guān)系呢？謝謝。

Hinton：可以給他們一些資金支持。（觀眾笑）

Feifei：或者，可以提供H100。我們要H100。但你看，這非常重要。我主張公共部門投資，但實(shí)際上我可能更主張合作。我們需要政府、私營部門和公共部門的共同努力。

在過去的四年里，我在斯坦福人工智能研究所（HAI）的主要工作之一就是創(chuàng)建一個(gè)行業(yè)生態(tài)系統(tǒng)。有很多細(xì)節(jié)我們可以線下討論。但如果我與大學(xué)領(lǐng)導(dǎo)或高等教育部門交談，我認(rèn)為我們需要接受這一點(diǎn)。我們需要負(fù)責(zé)任地接受這一點(diǎn)。有些人會(huì)有不同的稱呼方式。但我認(rèn)為這個(gè)生態(tài)系統(tǒng)非常重要。雙方都很重要。建立這種伙伴關(guān)系。成為彼此負(fù)責(zé)任的合作伙伴。資源是一件大事。我們確實(shí)會(huì)非常感激。謝謝。

主持人：

好的。如此一來，我們的時(shí)間就不夠了。我要感謝你們二位。我感到非常榮幸能夠稱你們?yōu)榕笥?，并且能夠與你們私下進(jìn)行這些對話。所以讓你們聚在一起并讓其他人聽到你們要說的話是很好的。非常感謝你們這么做。希望它對你和對我一樣有幫助。