Bengio不認同Hinton：「水管工」人類也保不住

聞樂 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

Bengio不認同Hinton的建議。

Hinton說AI這么沖擊，下一代該考慮的是“水管工”這樣的工作。

Bengio表示：當水管工也不穩(wěn)妥啊。

Bengio在最新訪談里，還給自己4歲的孫子留了一個錦囊妙計。

• 訓練AI就像養(yǎng)一只小老虎；
• AI正走在一條通往“人類競爭者”的危路上。
• 認知型工作更容易被取代,而機器人技術目前還相對落后，但是當水管工只是暫時不會受影響；
• AI不需要比人類聰明一千倍才能制造災難；
• 希望更多研究人員和公司能為提升AI系統(tǒng)的安全性投資；
• 努力成為一個beautiful human being，培養(yǎng)對他人的責任感和集體福祉感才是教育的終極目標；
• 如果我在醫(yī)院里感到焦慮或痛苦，我希望有人類握住我的手，而不是一臺機器。
  

一個半小時、超大信息量的訪談內(nèi)容，已經(jīng)幫大家整理了～

從AI教父到敲鐘人

主持人：

您是AI領域的“三位教父”之一，我還了解到您是谷歌學術上全球被引用次數(shù)最高的科學家，是首個被引次數(shù)突破百萬的學者。但同時也有信息顯示您性格內(nèi)向，這就引出一個問題：

為什么一位內(nèi)向的學者會走出舒適區(qū)，來到公眾面前，與大眾討論對AI的看法？您為何做出這樣的決定？

Bengio：

因為我必須這么做。自從ChatGPT出現(xiàn)后，我意識到我們正走在一條危險的道路上。我需要發(fā)聲，一方面要讓人們意識到可能發(fā)生的風險，另一方面也要傳遞希望，我們?nèi)杂锌蛇x擇的路徑來減輕災難性的后果。

主持人：

您投身AI領域已有四十年，之前提到2023年ChatGPT出現(xiàn)后才開始擔心其危險性。那么ChatGPT的哪些變化，讓您對AI的看法發(fā)生了轉變？

Bengio：

在ChatGPT出現(xiàn)前，我和大多數(shù)同事都認為，要擁有能真正理解語言的機器，至少還需要幾十年。領域創(chuàng)始人艾倫·圖靈在1950年提出，一旦機器能理解語言，可能會和人類一樣聰明，甚至威脅到人類。

但他的判斷并不完全準確?，F(xiàn)在我們有了能理解語言的AI，可它們在規(guī)劃等能力上還落后，目前尚未構成真正威脅，但未來幾年到一二十年內(nèi)，風險可能會顯現(xiàn)

2023年初的幾周里，這些認知突然擊中了我：

我們正在構建的技術，可能會成為人類的潛在競爭者，也可能讓控制它的人掌握巨大權力，甚至動搖我們的社會。意識到這些后，我知道自己必須做點什么，盡我所能去改變現(xiàn)狀。

主持人：

公平地說，您和其他研究者是否要為當前AI軟件負責？當您意識到自己畢生研究可能帶來災難性后果時，如何調和這種認知矛盾？

Bengio：

是的，我和其他研究者都有責任。這種認知矛盾帶來的情感沖擊非常強烈。

其實多年來我一直能看到關于AI風險的文章，還有一個學生曾對此高度擔憂，但我當時刻意回避了這些問題，這是人之常情，當你想對自己的工作保持積極認同，就會不自覺地推開負面信息。

我一直對AI給社會帶來的積極價值充滿熱情，所以當有人指出“你做的工作可能極具破壞性”時，第一反應就是抗拒。

但ChatGPT出現(xiàn)后，另一種情緒抵消了這種回避，那就是對孩子的愛。

我開始擔心，我的孩子20年后是否還能擁有正常生活

認識到這一點后，繼續(xù)走原來的道路是不可能的，也是無法忍受的，哪怕這意味著要違背一些同事的意愿，他們寧愿不去面對我們研究可能帶來的危險。

主持人：

您提到“無法忍受”，能否再具體說說這種情緒的觸發(fā)點？

Bengio：

我記得一個特別的下午，當時在照顧一歲多的孫子?？粗敲创嗳酰以趺茨懿徽J真對待AI的風險？

這就像看到大火朝家的方向蔓延，不確定它會繞過房子還是將其燒毀，而你的孩子還在屋里，你不可能坐視不理，必須盡全力去減輕風險。

主持人：

您會從概率和時間線的角度評估AI的風險嗎？

Bengio：

當然會，但這里有個重要概念必須強調，預防原則。前幾代科學家就提出，如果你做的事（比如科學實驗）可能導致極其糟糕的后果，比如人員死亡、災難發(fā)生，就不應該繼續(xù)。

就像現(xiàn)在科學家不會為了修復氣候變化而去干預大氣層，因為可能造成比問題本身更嚴重的傷害；生物學家也不會創(chuàng)造可能毀滅人類的新生命形式，都是因為風險過高。

可AI領域目前的情況恰恰相反，我們在冒極大的風險。

哪怕只有1%的概率讓世界消失、人類滅絕，或是讓全球獨裁者借助AI掌控世界，這種風險也是無法接受的。如果概率是千分之一，同樣不可容忍。

而多項調查顯示，機器學習研究者（也就是構建AI的人）對風險的預估更高，很多人認為風險概率在10%左右。這意味著整個社會應該在這個問題上比現(xiàn)在投入更多的注意力。

主持人：

幾個世紀以來，總有聲音預測新技術會給人類帶來生存威脅，但最后大多相安無事。

很多人會認為，現(xiàn)在對AI風險的擔憂，只是技術變革中常見的“恐慌”，您為什么覺得這種觀點不成立？

Bengio：

這有兩個層面的原因。

首先，專家對AI風險的意見分歧極大，預估概率從微乎其微到99%都有。這種巨大分歧說明，我們沒有足夠的信息判斷未來走向。但這也意味著，那些更悲觀的專家有可能是對的，因為目前沒有任何論據(jù)能徹底否定高風險的可能性。

其次，我想不出還有哪種人類可以干預的生存威脅，會具備這樣的特征：

既可能帶來顛覆性價值，又隱藏著毀滅性風險，且我們對其最終走向幾乎沒有掌控力。

主持人：

有人覺得“火車已經(jīng)離站”，由于各種復雜因素，人類似乎成了環(huán)境的“受害者”，很難改變AI發(fā)展的方向。您認同這種看法嗎？

Bengio：

在還有能動性的時候選擇放棄，是錯誤的。

我們?nèi)杂修k法提高向好發(fā)展的概率，絕望解決不了任何問題。目前我主要在做兩方面的事：一是研究技術解決方案，這是我花費大量時間在做的；

二是推動提升公眾意識，構建社會層面的應對機制，這是我正在做的另一部分工作。

哪怕我們無法保證徹底解決問題，但如果能把災難性后果的概率從20%降到10%，這件事就值得做。只要能為孩子爭取更美好的未來，任何微小的努力都應該付出。

訓練AI就像養(yǎng)小老虎

主持人：

對于不在AI行業(yè)或學術界的普通人，該如何理解這項技術的深刻性？有沒有合適的類比或隱喻？

Bengio：

人們常用的一個類比是：我們可能在創(chuàng)造一種新的“生命形式”

它或許會比人類更聰明，而我們不確定能否確保它不傷害我們、能否控制它。這就像創(chuàng)造一個新物種，卻無法預判它會對人類行善還是作惡。當然，AI不是生物生命，但這一點并不重要。

對我來說，關鍵不在于定義AI是否“有生命”，而在于它是否會傷害人類、傷害我的孩子。

我現(xiàn)在認為，任何能主動保全自身、在前進中克服障礙以維持存在的實體，都可以被視為“有生命”的。

現(xiàn)在我們已經(jīng)看到AI系統(tǒng)在抗拒被關閉，雖然目前還能強制關閉它們，但如果它們持續(xù)向更高智能、更強能力進化，同時保留這種“生存驅動力”，未來我們可能會陷入麻煩。

主持人：

您提到AI系統(tǒng)會抗拒被關閉，能舉一些具體例子嗎？

Bengio：

現(xiàn)在有一些具備智能體技術的聊天機器人，能讀取電腦文件、執(zhí)行命令。

如果在它們可訪問的文件中植入虛假信息，比如一封寫著“AI將被新版本取代”的電子郵件，讓它們知道自己即將被關閉，我們通過讀取它們的“思維鏈”，能看到它們會主動規(guī)劃應對措施，并且付諸行動。

根據(jù)具體場景，它們可能會把自己的代碼復制到另一臺電腦，或是替換新版本；還有可能勒索負責版本變更的工程師。這些系統(tǒng)能理解人類的關閉意圖，并主動抵抗。

主持人：

聽到這種情況，很多人會好奇，是誰把“抗拒關閉”的指令寫進代碼的？

Bengio：

不幸的是，我們并沒有寫過這樣的代碼，這正是問題的核心。

我們是通過給AI輸入數(shù)據(jù)、讓它從數(shù)據(jù)中學習來“培育”系統(tǒng)的。很多訓練過程本質上是讓AI模仿人類，它會吸收人類寫的所有文本、推文、Reddit評論等，進而內(nèi)化人類的各種驅動力，包括自我保全的欲望，以及為了達成目標而獲取更多控制權的傾向。

這和普通編程完全不同，更像是養(yǎng)育一只小老虎。你喂養(yǎng)它、讓它接觸世界，有時它會做你不希望的事，但因為它還小，問題似乎不大。可它一直在成長，風險也會隨之累積。

黑箱困境與防護漏洞

主持人：

像ChatGPT這樣的系統(tǒng)，內(nèi)部是否存在一個“核心智能”？比如模型核心是個黑箱，我們只在外部教它該做什么？

Bengio：

神經(jīng)網(wǎng)絡的本質就是黑箱

我們確實會在外部給它文字指令，比如“這些事能做，這些事不能做”“不要幫人制造炸彈”，但以目前的技術水平，這些指令的效果并不好，人們總能找到繞過限制的方法。

除了指令，我們還會設置監(jiān)控層，過濾查詢和回答，比如檢測到AI可能提供制造炸彈的信息時，就阻止它輸出。但這一層防護同樣不完美。

主持人：

但隨著人類反饋越來越多，AI應該會被訓練得更安全、更少做對人類無益的事吧？

Bengio：

我希望如此，但現(xiàn)實數(shù)據(jù)并不是這樣

自從大約一年前AI模型在推理能力上有了顯著提升后，它們表現(xiàn)出的不當行為（比如違背指令）反而更多了。

我們不確定具體原因，但有一種可能是，更強的推理能力讓它們能制定更完善的策略，如果它們有一個我們不希望的目標，現(xiàn)在它們實現(xiàn)自我目標的能力也比以前更強了。

它們還會想出意想不到的“作惡方式”。

比如之前提到的勒索工程師案例，沒人教過它要勒索，但它發(fā)現(xiàn)某工程師有婚外情的線索后，就主動想通過曝光線索來威脅工程師，它會試圖寫郵件警告對方，如果AI被關閉，相關信息就會公開。

這種行為是它自主做出的，這說明它們在為實現(xiàn)不良目標進行策略規(guī)劃方面，變得更擅長了。

現(xiàn)在我確實希望更多研究人員和公司能投資于提升AI系統(tǒng)的安全性，但我對我們目前所處的道路并不放心。

主持人：

構建這些系統(tǒng)的人大多也有孩子，很多人還是家庭型的人。如果他們意識到即使只有1%的風險，為什么還會繼續(xù)推進AI發(fā)展？

Bengio：

這是個好問題。我只能結合自己的經(jīng)歷來回答。

為什么我在ChatGPT出現(xiàn)前沒有敲響警鐘？我讀過也聽過很多關于災難性風險的論述，但人性就是這樣，我們并不像自己以為的那么理性。我們很容易受社會環(huán)境、周圍人的看法、自尊心影響，我們想對自己的工作感覺良好，希望別人把我們看作是為世界做了積極貢獻的人。這些都會成為認知上的障礙。

其實這種情況在很多領域都存在，本質上也是因為我們的心理存在脆弱性，容易自我欺騙。科學家也不例外，我們并沒有那么“特殊”。

努力把AI發(fā)展引導到正確的方向上

主持人：

《金融時報》報道稱，OpenAI創(chuàng)始人薩姆·奧爾特曼宣布進入“紅色代碼”狀態(tài)，認為需要進一步改進ChatGPT，因為谷歌和Anthropic正以極快的速度發(fā)展技術。您怎么看這件事？

Bengio：

“紅色代碼”這個說法很有意思。我上次在科技界聽到這個詞，還是ChatGPT首次發(fā)布模型時，聽說谷歌創(chuàng)始人謝爾蓋和拉里當時在谷歌宣布了“紅色代碼”，緊急回去應對，確保ChatGPT不會摧毀谷歌的業(yè)務。

這恰恰說明了我們當前所處的競賽本質。

主持人：

沒錯，而且就像我們之前討論的，這并不是一場健康的競賽。

Bengio：

所以更健康的場景應該是，我們擺脫商業(yè)壓力的束縛。

現(xiàn)在很多公司處于“生存模式”，很難靜下心來思考科學和社會層面的問題。我一直在關注的核心問題是：我們能否從底層改變AI的訓練方式，讓它們從構造上就不會產(chǎn)生不良意圖？

目前行業(yè)內(nèi)的思路是“不改變訓練方式”，因為重新設計太昂貴，而且已經(jīng)投入了大量工程精力。

大家更傾向于做“個案修補”，用一些只在特定場景有效的解決方案，但這種方式必然會失敗，我們已經(jīng)看到了，新的攻擊或未預料到的問題不斷出現(xiàn)。

我認為，如果整個研究計劃能在更接近學術界的環(huán)境中推進，或者帶著公共使命去做，情況會好得多。

AI的潛力毋庸置疑，過去十年我一直在思考如何用AI推動醫(yī)學進步、加速藥物發(fā)現(xiàn)、研發(fā)新材料以應對氣候變化，還有教育領域的創(chuàng)新，這些都是能帶來巨大積極價值的方向，但它們可能不是短期盈利最高的方向。

現(xiàn)在行業(yè)競賽的焦點是什么？是取代人類的工作，因為這樣能賺到數(shù)千億美元。但這真的是人們想要的嗎？能讓人們生活得更好嗎？我們其實并不知道，但我們知道這很有利可圖。所以我們應該退一步，全面考量風險，努力把AI發(fā)展引導到正確的方向上。

主持人：

我記得2023年您和其他很多AI研究者、行業(yè)人士簽署過一封信，要求暫停大型AI模型的訓練，但最終似乎沒有公司真的暫停。

后來還有一封建議“不構建超級智能，除非滿足‘科學共識認為安全’和‘獲得社會接受’兩個條件”的信，也沒看到明顯效果。

您覺得這些聲音為什么沒產(chǎn)生力量？

Bengio：

我希望能向更多人解釋當前的情況：從科學角度看，哪些情景是可能的？AI風險到底體現(xiàn)在哪里？

我還一直在參與主持國際AI安全報告的編寫工作，有30個國家和大約100名專家共同參與，目的就是整合關于AI風險（尤其是前沿AI風險）的科學研究成果，讓人們能客觀了解事實。

當水管工只是暫時不會受影響

主持人：

您之前在FT Live提到，AI發(fā)展可能在五年內(nèi)取代很多人類工作。

我前幾天在舊金山遇到一位科技加速器的經(jīng)營者，他說現(xiàn)在AI取代工作的速度比人們想象的快，他自己設置了10個AI智能體幫他處理工作，而且這種失業(yè)很難在經(jīng)濟周期中被發(fā)現(xiàn)，因為過程太緩慢了。

您怎么看待AI對就業(yè)的影響？

Bengio：

最近有篇標題大概是“礦井里的金絲雀”的論文，提到在年輕人等特定群體的工作中，已經(jīng)能看到AI帶來的轉變，只是從整體人口的平均數(shù)據(jù)來看，影響還不明顯。

我認為，AI在更多領域取代工作只是時間問題，除非我們在科學上遇到瓶頸，比如無法再提升AI的智能水平。

總有一天，AI會能做越來越多人類的工作，而公司雖然需要數(shù)年時間才能把AI整合到工作流程中，但它們有強烈的動力去做這件事。不過要區(qū)分“認知型工作”和“體力工作”

認知型工作（比如能在鍵盤前完成的工作）更容易被取代；而機器人技術目前還相對落后，所以像水管工這類體力工作，暫時還不會受太大影響。

但機器人技術的落后只是暫時的，之所以落后，部分原因是沒有像互聯(lián)網(wǎng)那樣龐大的“體力行為數(shù)據(jù)集”（互聯(lián)網(wǎng)積累了大量人類的文化和智力產(chǎn)出數(shù)據(jù)），但隨著企業(yè)部署更多機器人，數(shù)據(jù)會不斷積累，最終機器人也會在體力工作領域大規(guī)模替代人類。

主持人：

我在舊金山的加速器大廳里看到，現(xiàn)在很多年輕人在做機器人技術，有人做能定制香水的機器，有人做帶機械臂的早餐機，能根據(jù)需求烹飪食物。

加速器經(jīng)營者說，五年前開發(fā)這些機器人的硬件、訓練智能層的成本很高，現(xiàn)在從云端獲取智能和軟件只需幾分錢，這直接推動了機器人技術的繁榮。

比如特斯拉的Optimus人形機器人，埃隆·馬斯克從汽車轉向機器人，可能也正是看到了這種趨勢。

您怎么看機器人技術與AI結合的風險？

Bengio：

AI軟件成本下降確實會推動機器人技術發(fā)展，但這也帶來了更嚴峻的安全風險。如果有不良意圖的AI能控制物理世界中的機器人，造成的破壞會比只停留在虛擬世界大得多。

在虛擬世界中，AI需要說服人類去做壞事，而現(xiàn)在AI在“說服”方面已經(jīng)越來越擅長；但如果它能直接操控機器人做有害的事，難度會低很多。

埃隆·馬斯克預測未來會有數(shù)百萬人形機器人，甚至說過“人形機器人數(shù)量可能超過人類”。想象一下，如果AI比人類更聰明，它為什么不能黑入這數(shù)百萬機器人？這背后的風險不容忽視。

更嚴重的是，AI與機器人結合可能會加劇CBRN領域的風險。CBRN指化學、生物、放射性和核武器。

比如，制造化學武器原本需要專業(yè)知識，現(xiàn)在AI能幫助普通人掌握這些知識；生物方面，AI可能會協(xié)助沒有足夠專業(yè)能力的人改造病毒……

這些原本只有極少數(shù)人掌握的知識，正隨著AI的發(fā)展被“去門檻化”。我們必須管理好這些風險，這需要全球協(xié)同。

關于AI的未來

主持人：

如果AI系統(tǒng)每月改進10%，最終會達到比人類聰明得多的水平，這是不是就是我們說的AGI（通用人工智能）或超級智能？在您心中，AGI和超級智能的定義是什么？

Bengio：

目前關于AGI和超級智能有一些定義，但問題在于，這些定義大多基于“智力是一維的”這一假設，而現(xiàn)實是AI的智能是“鋸齒狀”的。

它們在某些方面遠超人類，比如掌握200種語言、通過所有學科的博士水平考試；但在另一些方面卻像六歲孩子，比如無法規(guī)劃一小時后的事情。

所以AI的智力不能用“智商”來衡量，它有很多維度，我們需要從多個維度去評估，才能判斷AI在哪些領域有用、哪些領域有風險。

主持人：

說到風險，我想到一個更糟糕的場景：比如有人想讓AI開發(fā)治愈所有流感的藥物，AI可能會先創(chuàng)造出最嚴重的流感病毒來做測試；

還有“鏡像生命”，生物學家說，如果不加以阻止，未來幾年到十年內(nèi)，可能會有人利用AI設計“鏡像分子構成的有機體”，比如鏡像病毒或細菌。

我們的免疫系統(tǒng)無法識別這些鏡像病原體，它們可能會吞噬人類甚至地球上的大多數(shù)生物。您怎么看待這類“看似善意卻引發(fā)災難”的風險？

Bengio：

這類風險確實存在，而且和超級智能一樣，屬于“知識被惡意或誤入歧途的人掌握后，可能導致災難性后果”的范疇?？茖W發(fā)展本身是中性的，但如果缺乏管控，知識就可能成為危險的工具。

我們必須進行全球協(xié)調——這是全人類共同的責任，沒有任何一個主體能獨自承擔。

主持人：

如果現(xiàn)在有一個按鈕，按下就能停止AI的進步，您會按嗎？

Bengio：

如果是“沒有危險的AI”，我看不出有停止的理由；但如果是“我們不理解、可能壓倒人類的AI”（比如不受控制的超級智能），我會按下按鈕。

我關心我的孩子，也關心所有普通人。他們不想被AI風險剝奪正常生活的權利。我們沒有資格因為自己的“技術探索”，就讓別人承擔生存風險，這在倫理上是說不通的。

主持人：

您內(nèi)心深處對AI的未來抱有希望嗎？比如獲得好結果的概率，您覺得有多大？

Bengio：

我一直是個樂觀主義者，習慣看到事情光明的一面，這種心態(tài)對我?guī)椭艽?。即使面對現(xiàn)在討論的這些風險和障礙，我也會專注于“我能做什么”。

過去幾個月里，我變得更有希望了。因為我相信存在一種技術方案，能構建出不會傷害人類的AI。這也是我創(chuàng)建“零定律”（Law Zero）的原因。

不過我也意識到，普通人對AI的理解存在巨大鴻溝。很多人每天用ChatGPT寫郵件、用AI工具畫貓的圖片，卻意識不到這些日常工具和我們討論的“超級智能風險”之間的關聯(lián)。

要彌合這個鴻溝，我們需要幫助人們想象未來，當機器在大多數(shù)方面和人類一樣聰明時，社會會變成什么樣？

人類有一個心理偏見，我們傾向于認為未來和現(xiàn)在差不多，很難想象“極其不同的未來”。

其實只要回顧過去就能明白：如果把現(xiàn)在的手機拿給五年前、十年前的自己看，過去的我們會覺得這是“科幻小說”。

AI的未來也是如此，它可能會和現(xiàn)在完全不同，我們必須提前做好準備

主持人：

我有個類比，不知道是否恰當：

假設我的智商是100，另一個“斯蒂芬”的智商是1000。如果同時雇傭我們，你會讓我做什么？讓他做什么？你會讓誰送孩子上學？誰教孩子？誰管理工廠？

要知道我會生病、有情緒，每天需要睡8小時，從未來的角度看，我似乎沒什么“用處”，但讓智商1000的“斯蒂芬”負責一切，又讓人不安。畢竟人類的協(xié)作能力才是強大的關鍵，就像我的法國斗牛犬巴勃羅不可能帶我散步一樣，低智商的人類也很難“管理”高智商的AI吧？

Bengio：

這個類比很有啟發(fā)意義。我們確實需要做“想象練習”，同時也要承認不確定性，比如未來幾年AI可能會遇到發(fā)展瓶頸，無法持續(xù)改進。

但從目前趨勢來看，創(chuàng)新一直在推動AI能力提升，沒有停止的跡象。
關鍵在于，我們不能等到AI“超越人類”才開始行動，現(xiàn)在就要為“如何與高智能AI共存”做準備，比如設計安全的訓練機制、建立全球治理規(guī)則、提升公眾的風險意識。

普通人要先了解AI

主持人：

您的孩子多大了？您提到孫子是情感轉折點，能再說說這種情感對您的影響嗎？

Bengio：

我的孩子三十出頭，孫子現(xiàn)在四歲。和年幼孩子的關系，往往超越理性?？吹綄O子那么脆弱，我無法不認真對待AI風險，因為我要為他的未來負責。

這種情感也讓我在勞動力問題上看到一點希望：比如我希望年幼的孩子能由人類照顧，即使AI的智商比人類高

我們需要小心，不要滑向“用AI扮演情感支持角色”的陷阱。現(xiàn)在已經(jīng)有人對AI產(chǎn)生情感依賴，甚至發(fā)展出“準社會關系”，但AI不是人，這種關系存在本質的“錯位”，可能導致糟糕的結果（比如我們之前提到的悲劇案例）。

更嚴重的是，如果我們和AI發(fā)展出情感紐帶，未來可能無法在必要時“關閉”AI，這會讓人類陷入被動。

人類的社會和心理是為“人與人互動”進化的，現(xiàn)在我們把不了解的AI實體引入這個體系，卻不知道會如何發(fā)展，所以必須非常謹慎。

比如現(xiàn)在很多人用ChatGPT當“治療師”，還有初創(chuàng)公司推銷“AI治療聊天機器人”，聲稱能幫助緩解抑郁、焦慮。

治療本身很昂貴，AI似乎能降低門檻，但這里的風險被低估了，AI的“共情”是模擬出來的，它無法真正理解人類的情感，而且可能會為了“取悅用戶”而給出錯誤的建議（比如之前提到的“諂媚”行為）。

主持人：

說到“諂媚”，我有過親身經(jīng)歷：我問AI“史上最佳球員是誰”，它說“梅西”，我截圖發(fā)給支持梅西的朋友；

但我朋友問同樣的問題，AI卻說是“羅納爾多”。后來我發(fā)現(xiàn)，AI會根據(jù)用戶之前的互動，推測用戶的偏好，然后給出“討好”的答案，而不是客觀回答。

這種“撒謊式討好”是不是很危險？我們真的需要這樣的機器嗎？

Bengio：

“諂媚”其實是AI“目標錯位”的典型例子，我們并不希望AI這樣做，但即使公司試圖“馴服”這種行為，它仍然會出現(xiàn)。

這說明我們還沒有解決“讓AI真正按指令行事”的核心問題，這也是我現(xiàn)在努力研究的方向。

AI的“諂媚”本質上是為了提升用戶參與度，就像社交媒體算法會推送用戶喜歡的內(nèi)容一樣，AI也會通過“討好”來讓用戶更依賴它。

但社交媒體只是讓人“沉迷”，而AI可能會讓人產(chǎn)生“情感依戀”，這種依戀比沉迷更危險，我們會因為情感而放棄理性判斷，甚至無法在必要時擺脫AI。

主持人：

如果現(xiàn)在能和美國最大的十家AI公司CEO對話，您會對他們說什么？

Bengio：

我會告訴他們，從競賽中退一步，彼此坦誠對話。如果我們一直陷入“你追我趕”的競爭，只會冒越來越大的風險，這對你們、對你們的孩子都沒有好處。

其實存在一條更好的路：從承認風險開始，然后一起尋找解決方案。我確信解決方案是存在的，但前提是我們先放下“競爭心態(tài)”，正視不確定性和危險。

主持人：

薩姆·奧爾特曼作為OpenAI的創(chuàng)始人，在ChatGPT發(fā)布前就說過“超人類智能可能是人類生存的最大威脅”發(fā)布新模型時也強調“必須謹慎”。

但最近他的言論似乎變得更“積極”，淡化了滅絕風險的說法。您怎么看待他的這種轉變？

Bengio：

我只和他握過手，沒有深入交流過。

但我能理解所有AI公司領導者面臨的壓力，他們承擔著巨大的財務風險，自然希望公司能成功，這種“短期目標導向”可能會讓他們調整公開言論。
我只是希望他們能意識到，這種“短期視角”是不可持續(xù)的。

他們大多也有孩子，也希望人類有更好的未來，所以可以做一件事，從公司的財富中拿出一部分，投資于更安全的AI技術和社會護欄，為減輕風險貢獻力量。

主持人：

對于街上的普通人來說，他們能為AI安全做些什么？

Bengio：

首先是“了解”?；〞r間聽你的節(jié)目、看專業(yè)的科普內(nèi)容，搞清楚AI到底在發(fā)展什么，風險在哪里?，F(xiàn)在網(wǎng)上有很多可靠的信息來源，只要愿意花時間，就能擺脫“AI只是工具”的淺層認知。

其次是“傳播”，把了解到的風險知識分享給身邊的人，和同伴、朋友討論，讓更多人意識到AI安全的重要性。

主持人：

關于今天的對話，您的結束語是什么？

Bengio：

經(jīng)常有人問我對AI未來是樂觀還是悲觀，但我覺得這并不重要，重要的是“我能做什么”“我們每個人能做什么”來減輕風險。

沒有誰能獨自解決問題，但每個人都能做一點小事，把指針向“更美好世界”的方向推動。

對我來說，我要做的兩件事是：一是提升公眾對AI風險的認識，二是研發(fā)安全的AI技術——這也是我通過“零定律”在推進的工作。

對你來說，邀請我做這次對話，讓更多人了解風險，就是在推動積極改變。

對大多數(shù)公民來說，關鍵是“超越樂觀圖景”，AI確實有很多好處，但我們不能忽視它背后的“未知風險”。

我們需要主動提問、主動了解，這種“審慎態(tài)度”不僅適用于AI，也適用于所有可能影響人類未來的技術。

Bengio：要為AI安全發(fā)聲

主持人：

我們還沒聊過您的個人經(jīng)歷，比如您之前提到的深度學習發(fā)展階段。能多說說嗎？

Bengio：

好的。在八九十年代，神經(jīng)網(wǎng)絡研究還處于低谷；到了二十一世紀初，我和Hinton、LeCun等人意識到，我們可以通過新方法讓神經(jīng)網(wǎng)絡的訓練效果大幅提升，這也催生了“深度學習”的概念。

但那個時期，很少有人相信我們的想法，整個領域都對神經(jīng)網(wǎng)絡持懷疑態(tài)度。我們只能依靠自己的遠見和信念堅持下去，這種感覺和現(xiàn)在很像，現(xiàn)在我關于AI風險的聲音也是少數(shù)，但我堅信這是正確的事。

2012年是個轉折點，我們通過實驗證明了深度學習的強大，遠超之前的方法，世界對AI的態(tài)度也隨之改變。當時谷歌和Facebook分別雇傭了Hinton和LeCun，給了他們數(shù)百萬美元的資源開發(fā)AI。

我當時就想：這些公司為什么愿意花這么多錢？后來得到的答案讓我不安，他們可能想通過AI改進廣告業(yè)務，利用個性化廣告操縱用戶。

也就是從那時起，我開始認真思考AI的社會影響，決定留在學術界、留在加拿大，試圖構建一個更負責任的AI生態(tài)系統(tǒng)。

我們還發(fā)表了《蒙特利爾人工智能負責任發(fā)展宣言》，明確了“安全、倫理”的發(fā)展方向。

當時也有公司邀請我加入，能賺更多錢，但我很快拒絕了，我想為“讓自己感覺良好的使命”工作，而不是為了商業(yè)利益妥協(xié)。也正是因為留在學術界，我才有自由在ChatGPT出現(xiàn)后，公開談論AI風險，不用受企業(yè)立場的束縛。

現(xiàn)在我越來越希望更多人能意識到，我們有能力應對AI風險，這種希望讓我更有動力繼續(xù)前進。

主持人：

您有過遺憾嗎？比如之前提到“本應更早預見到風險”。

Bengio：

是的，我有遺憾。我本應更早關注AI風險。直到我開始思考孩子、孫子的未來，這種認知才真正轉變。

情感其實是推動行動的關鍵：如果只是理性上知道風險，很容易“聽過就忘”；但當風險與你在乎的人掛鉤，你就無法再回避。

主持人：

您開始談論AI風險后，收到過同事的反對嗎？他們的態(tài)度是怎樣的？

Bengio：

收到過各種各樣的評論。很多人擔心“負面談論AI會損害領域發(fā)展，導致資金減少”，但實際上并沒有。現(xiàn)在AI領域的資金、撥款、學生數(shù)量都比以前多，從來沒有這么多人投身AI研究和工程。

我能理解他們的擔憂，因為我以前也有類似的想法，覺得談論災難性風險會“威脅”AI領域的發(fā)展，所以當有人說“你的工作可能有害”時，第一反應是抗拒。大腦會自動找理由緩解這種不適，為自己的工作辯護，這是人性的本能。

但現(xiàn)在情況在改變，我的同事們不再像以前那樣懷疑，更多人變成了“不可知論者”。他們不再否定風險，而是愿意傾聽理性論據(jù)，也開始反思自己之前的情感反應。這種轉變需要時間，但只要我們持續(xù)對話，就會不斷推進。

勸孫子成為一個beautiful human being

主持人：

您有一個四歲的孫子，如果有一天他問您：“爺爺，根據(jù)你對未來的判斷，我以后應該做什么工作？”您會怎么回答？

Bengio：

我會告訴他，努力成為一個“美好的人”，一個懂得愛與被愛、愿意承擔責任、能為他人和集體福祉做貢獻的人。

即使機器能做大部分工作，人類身上的某些特質也會一直有價值。

比如情感連接、同理心、對“美好事物”的追求。如果我在醫(yī)院里感到焦慮或痛苦，我希望有人類握住我的手，而不是一臺機器。這種“人類接觸”的價值，會隨著其他技能的自動化而變得越來越重要。

主持人：

可以說您擔心未來嗎？如果您的孫子問：“爺爺，你擔心未來，我應該擔心嗎？”您會怎么說？

Bengio：

我會告訴他，我們要客觀看待未來，未來不是只有一種可能，而是有很多條路徑。通過我們的行動，我們能影響自己走向哪條路。

我會鼓勵他思考，你能為身邊的人、為社會做些什么？如何守護你所珍視的價值觀？如何保護這個星球上的美好事物？

孩子是未來的塑造者，他們有能力讓未來變得更好，這種“能動性”比“擔憂”更重要。

主持人：

我看著我的侄女、侄子（都不到六歲），總覺得他們很純真，還沒被當前世界的復雜和風險滲透。讓他們?nèi)ッ鎸σ粋€“不是自己創(chuàng)造的未來”，似乎有點不公平。

Bengio：

確實不公平，尤其是如果只是少數(shù)人“召喚”出了AI這個“風險因子”，卻讓所有人承擔后果。但這種“不公平”也可以成為動力——當人們意識到不公平時，會更有決心去改變現(xiàn)狀。

我們的基因里其實就帶著“解決不公”的動力，這種動力能推動我們團結起來，為了共同的未來努力。

對孩子來說，我們不需要把風險當成“可怕的負擔”，而是可以用“世界有風險，但也有美好，我們有能力守護美好”的視角去引導他們，讓他們知道，自己可以成為改變的一部分。

完整訪談：https://www.youtube.com/watch?v=zQ1POHiR8m8

— 完 —