圖靈獎得主談AI威脅，“我們正走在一條極具危險的路上”

機器學習先驅約書亞?本吉奧（Yoshua Bengio）

潘 展|翻譯

約書亞?本吉奧（Joshua Bengio）是加拿大蒙特利爾大學的計算機科學家。

2019年，他因開創“深度學習”技術而獲得A.M.圖靈獎——這一獎項被視為計算機科學領域的最高榮譽。如今，深度學習技術已讓人工智能（AI）無處不在。上個月，他還成為首位在谷歌學術上引用量突破百萬的學者。

此后，本吉奧將研究重心轉向探索人工智能帶來的風險。他擔任該領域國際顧問小組的主席，該小組成員包括來自30個國家、歐盟、經濟合作與發展組織（OECD）以及聯合國的代表。今年早些時候，該小組發布了《先進人工智能安全性國際科學報告》。

近期，《自然》雜志在倫敦約見本吉奧探討了這項由他助力開創的技術所蘊含的潛力與隱患。以下是經編輯整理后的對話內容。

問：您撰寫過眾多論文，其中有沒有特別讓您自豪的？

答：是的，我從20世紀90年代末開始與人合著的一系列關于語言建模和注意力機制的論文。這些論文探討了如何在神經網絡中引入注意力機制，使其更接近“系統 2”（system 2）。也就是說，讓AI更具審慎思考能力，而不只是一臺依靠直覺運作的機器。

問：您說的注意力機制，是不是谷歌研究人員2017年發表的一篇論文的核心技術？這篇論文提出了Transformer（轉換器）架構，而ChatGPT中的T正來源于此技術？

答：是的。不過我還想提另一篇論文，它得到的關注遠不及前者。那就是關于課程式學習（curriculum learning）的研究。在這種學習方式中，機器接受訓練時，數據是按特定順序而非隨機輸入的。如今，這已成為該領域的標準方法。我的靈感來源于動物的學習過程。

問：直到幾年前，無法控制的人工智能可能帶來生存風險還不是您最擔心的問題。是什么改變了您的想法？

答：是2022年11月ChatGPT的問世。我花了兩三個月時間才意識到，我們正走在一條可能極具危險性的道路上。雖然最初看到深度學習終于達成這一里程碑時，我感到很欣慰，但我很快意識到，由于這類系統的特性，我們根本不知道該如何確保它們的行為符合人類的期望。

我開始想到我的孫子，20年后當他22歲時他還能擁有正常的生活嗎？他還能生活在民主社會里嗎？

未來，無論誰掌控了高度先進的人工智能，都將擁有巨大的權力。他們可能會用這種權力為自己謀利，但這對大多數人而言或許并非好事。民主的核心是權力共享。如果權力集中在少數人手中，那就不是民主。

此外，人工智能若落入壞人之手，還會引發其他生存風險。有些人為了意識形態或因心理健康問題，可能會讓人工智能去做一些可怕的事，導致數十億人死亡。例如釋放一種新型強效病毒，甚至制造出能殺死地球上所有動物的鏡像細菌。

問：《國際人工智能安全報告》指出了三大主要風險領域：系統故障導致的非預期風險、惡意使用風險、以及諸如就業機會流失等系統性風險。短期內，哪類風險最可能造成重大影響？哪類風險最讓您擔憂？

答：惡意使用已經在發生了，但我認為我們目前看到的還只是冰山一角。比如深度偽造技術，以及極有可能的由最先進人工智能驅動的網絡攻擊。我們需要建立更完善的防護措施來降低這些風險。這些防護措施必須兼具技術性和政治性，也就是說，要通過監管或其他激勵手段，確保企業采取正確行動，規避或降低這些風險。

當然，最讓我夜不能寐的，是人類可能面臨滅絕的風險。這也是我為何將研究重心轉向這個問題，即我們該如何構建一種本質上不會傷害人類的人工智能？現在我認為，這件事是有可能實現的。所以在我看來，這是一個重大進展，我對此也樂觀多了。

問：在這一領域，您和您的團隊提出了科學家型人工智能的構想，這種AI從設計之初就內置了安全機制。能和我們具體談談嗎？

答：這種AI的設計理念，很大程度上借鑒了人類科學家認識世界、構建因果機制模型和世界規律模型的方式。科學家型人工智能不具備智能體屬性（non-agentic）。換句話說，它沒有目標，也沒有意圖。因此，我們可以信任它輸出的內容。如果遵循這種設計思路，我們完全可以構建出具有理想可信度的系統。

如今，企業想要構建的是智能體，也就是能在現實世界中采取行動的人工智能。實際上，科學家也希望開發能幫助他們設計實驗的人工智能，而設計實驗本身就是一種在現實世界中開展的活動，并非單純的被動預測。好消息是，只要擁有可靠的預測模型，我們就能用它們來構建防護措施。例如，預測某項實驗或人工智能在計算機系統中的某個操作，是否可能引發不良后果，以及引發不良后果的概率有多大。

問：《國際人工智能安全報告》的反響如何？它是否已經開始影響各國政府對人工智能的政策制定？

答：有影響。看到這份報告已經產生了這么大的影響，我感到非常振奮。它基于科學文獻嚴謹地明確了以下幾點：我們目前已認識到的風險有哪些？同時，它還明確了當前存在的風險緩解方法，以及這些方法各自的局限性。

https://www.nature.com/articles/d41586-025-03686-1

Deep Science預印本