作者 | 大模型機動組
郵箱 | damoxingjidongzu@pingwest.com
![]()
Anthropic聯合創始人Jack Clark近日做客喬治梅森大學經濟學教授 TYLER COWEN 的播客,暢談他認為的 AGI 對經濟發展的影響。雙方的對談包括AGI對經濟和社會的“高低不均”沖擊,從哪些行業最難被AI替代、法律與數據標準障礙,到AI在政府和城市治理中的應用前景,再到“AI玩具熊”與育兒輔助等日常場景;
COWEN在其博客網站放出了整段交談實錄,我們對其內容進行了編譯,原文鏈接:
https://conversationswithtyler.com/episodes/jack-clark/
以下是全文編譯:
很少有人能像 Anthropic 的聯合創始人 Jack Clark 那樣全面理解通用人工智能(AGI)的潛力和局限性。Jack Clark 擁有新聞和人文學科的背景,在硅谷獨樹一幟。他基于自己在人工智能領域不斷低估其進步速度的親身經歷,同時認識到物理世界對數字化轉型的抵制,對人工智能的經濟影響做出了清醒的預測——經濟增長率預計為 3%~5%,而非技術樂觀主義者所說的 20%~30%。
在這段對話中,Jack 和 Tyler 探討了 AGI 將最后影響經濟的哪些部分、人工智能將面臨哪些最強烈的法律障礙、人工智能泰迪熊的前景、人工智能對新聞業經濟的影響、大型語言模型(LLM)行業的競爭前景、他對人工智能推動經濟增長相對悲觀的看法、人工智能將如何改變美國城市、我們將如何利用豐富的計算資源、法律應如何處理自主人工智能代理、我們是否正進入“極客管理者”時代、人工智能意識、我們何時能直接與海豚對話、人工智能與國家主權、英國和新加坡如何定位自己成為人工智能中心、Clark 希望接下來學習什么等諸多問題。
TYLER COWEN:大家好,歡迎回到《與 Tyler 對話》節目。今天,我在 Anthropic 公司與 Jack Clark 對談。大家可能知道,Anthropic 推出了 Anthropic 經濟指數,用于衡量先進人工智能對美國經濟的影響。截至 2025 年 3 月,已有兩份相關報告發布,未來還會有更多報告陸續推出。Jack 當然是 Anthropic 的聯合創始人。此前,他曾任 OpenAI 的政策總監,在彭博社擔任記者,最初在英國布萊頓攻讀人文學科專業。Jack,歡迎你的到來。
JACK CLARK:非常感謝邀請我,Tyler,很高興來到這里。
COWEN:在我們的經濟中,AGI 最后會在哪些領域產生重大影響?
CLARK:我想,可能是一些手工藝行業以及這些行業中最具工藝性的部分。你可能會想到像電工、水管工,或者園藝這樣的職業。在這些領域中,有一些需要經驗和技術的部分,人們希望使用特定的工人,這不僅僅是因為他們的技能,還因為他們的知名度,有時還會因為他們的審美品質。
COWEN:人們不會利用 AGI 來幫助設計花園嗎?或者只是人類的主導地位永遠不會消失?
CLARK:我認為人類的主導地位將永遠不會消失。人們會因為個人的品位而購買某些東西,即使這種品味看起來像某些現代藝術生產,藝術家們實際依賴數千人為他們工作,而他們只是在指揮這些工作。
COWEN:在更注重辦公服務的行業部分,它最后會在哪些領域產生影響?
CLARK:這是一個好問題。我認為在這方面,有一些需要與他人交談、達成一致或協議的辦公工作。如果你考慮到某些類型的銷售——
COWEN:但人工智能在這方面已經很出色了,對吧?它是一個很棒的“治療師”。
CLARK:它確實很出色,但我們還沒有派 Claude 去銷售 Claude,對吧。我們派人類去銷售 Claude,即使 Claude 可能能夠生成進行銷售活動的文本。人們希望與他人進行商業交易,因此,我認為某些由人類代理代表大型自動化組織或資本池達成的交易,人們可能更傾向于由人類代理來完成。
COWEN:AGI 將在哪些領域遇到最強的法律障礙?
CLARK:幾年前,法律本身對 AGI 構成了相當強的障礙,因為律師們喜歡收取高額費用,他們不喜歡那些可能會壓低他們收費價格的事務。
我的回答是,它可能在醫療保健的大部分領域,因為這些領域與我們如何處理個人數據以及所有相關的標準緊密相關。所有這些標準可能都需要以某種形式進行更改,以便 AGI 能夠使用。我們一直很難更新或更改數據標準。
COWEN:一旦你可以將人工智能安裝在你自己的硬盤上,這很快就會實現,難道不會改變一切嗎?
CLARK:這將以灰色市場專業知識的形式改變現狀,但不會成為官方專業知識。我最近有了一個孩子。每當我的孩子碰傷頭部時,雖然我會給醫院打電話,但我也會和 Claude 聊天以安慰自己,確保孩子沒有問題。
實際上,根據我們的服務條款,我們并沒有完全將Claude投入到醫療保健行業,我們擔心這可能會引發法律責任。但實際上我總是想要使用它,但我不能將 Claude 的評估提供給凱撒醫療集團之類的醫療企業。我必須通過人類來完成后續的所有工作,以確定是否需要為孩子開藥。
COWEN:你認為美國政府的某些部門會是人工智能最后進入的領域嗎?我本認為這是我的預測。他們有時還在使用 20 世紀 60 年代甚至 50 年代的軟件。
CLARK:他們確實是這樣,但我實際上認為,我們可能會在這些領域看到非常快速的變化,原因有幾個。首先,我們知道,人工智能與國家安全息息相關。它正在發展某些類型的能力。
COWEN:但政府的其他部門呢?
CLARK:非敏感、非尖端的政府部門。我敢打賭,它將變得意外地容易進入政府的這些艱難領域,然后將出現一個關于政治意愿的問題。在全世界范圍內——我相信你也有同感——政府非常渴望增長,也非常渴望效率。我們今天在這里就能看到這一點,但我想,如果你看看選民的民意調查和其他事情,人們希望看到政府比現在做出更多的改變。我認為,有時選民的偏好確實會最終改變他們的民選官員的行為。我會站在這一觀點的對立面,即政府的行動速度可能比你想象得要快。它可能是一些非常龐大、已經建立的公司,在某些領域對這一技術產生最大的阻力。
COWEN:讓我們假設決定 HUD 或教育部一半的員工可以被AI或 AGI 取代。我們是否需要首先雇傭更多的人來實現這一目標?我們能雇傭什么樣的人,以什么樣的工資水平才能切換系統,從而解雇剩余的一半員工?我不明白這將如何運作。
CLARK:我認為,這只會在系統變得足夠強大,以至于你可以引入人工智能系統來幫助你思考這一過程的情況下才能實現。然后將出現一個關于政治意愿的問題,而這可能就是這一切的瓶頸所在。
COWEN:你認為我們有多大可能會通過類似于法律和醫學領域反對強 AGI 的法律來保護今天一半的工作崗位?
CLARK:我認為這種可能性相當高。我不認為我們會以理性的方式來做這件事。如果構建這種技術的公司和我們的客戶沒有生成足夠多的良好過渡案例,而更多的是大規模經濟變化的證據,那么,我們越缺乏這些過渡案例,就越可能希望介入并保護不同領域的工人。這種做法的初衷是出于幫助人們的意愿,但從長遠來看,這可能并非最有幫助的做法。
COWEN:但這是不是在某種意義上,實際上是我們應該追求的最佳結果?人們仍將擁有工作。他們早上會去某個地方。大部分繁重的工作將由人工智能完成。顯然,我們會更富有,因此我們能夠負擔得起這一切。突然之間,這不會讓人們感到太糟糕。看起來生活會很熟悉。這難道不是我們在某種程度上應該追求的目標嗎?
CLARK:我認為我們的目標應該是這樣。
COWEN:從某種意義上說,就像我們需要一個慷慨的福利國家來實現自由貿易一樣。福利國家并不總是最有效的,但如果人們接受了更自由的貿易,這是一個可以接受的交易。這難道不是一種為服務工作者提供的福利國家形式嗎?他們仍然可以早上有一個去處,如果他們愿意的話,但他們不需要真正去做這些工作。
CLARK:所有人類都渴望他們日常所做的事情具有意義和重要性。我對你所描述的情況的擔憂在于,這可能不足以讓人們感到他們的行為具有足夠的意義。我認為,有一大批活動是我們希望繼續在世界中進行的,人們從這些活動中獲得意義,但我并不確定我們所選擇保護的工作是否會自然地產生意義。
COWEN:在人工智能出現之前的學術界,我們是否已經成功地解決了這個問題?大多數學術工作并沒有那么有意義。人們所做的研究——并沒有被任何人閱讀。也許他們在教學方面表現不錯,但人們為他們的研究感到非常自豪。他們投入了大量的精力。這似乎是無意義的。但我們似乎已經成功地解決了這個問題。我們將采用類似學術界的模式,但不是研究,而是將這種模式引入我們當前經濟的一半,只是為了讓它繼續運轉。
CLARK:在學術界的這些高成就部分,難道不是存在某種焦慮和虛無主義嗎?當你與人們交談時,即使是非常聰明的人,他們有時也會意識到他們可以做不同的事情,但他們被困在某種低位游戲中。
COWEN:確實存在這種情況,但即使是諾貝爾獎得主——他們彼此之間也存在競爭,他們可能會非常刻薄、非常小氣,但這只是人性,對吧?如果諾貝爾獎得主都不快樂,那么在人工智能時代,我們可能無法實現比現在更好的狀態。
CLARK:也許我的反駁是,我認為所有這一切的變化發生得足夠快,以至于我們可能有機會以不同的、更高等級的“地位游戲”來取代當前的,而這些游戲是人工智能及其釋放的生產力所提供的。肯定會出現全新的工作,這些工作涉及指揮和引導人工智能系統用于各種工作。我認為,還將出現一些更類似創造性、有趣的活動,即讓人工智能系統構建東西、制作東西,或者幾乎是進行比賽和游戲,人們可以在其中相互競爭和娛樂。我相信,將會有全新的娛樂形式,這些形式具有一定程度的意義,并且可能與一種經濟引擎相連,人們可以參與其中。
人工智能泰迪熊
COWEN:我相信我們離我所說的“人工智能泰迪熊時代”不遠了。你知道我是什么意思嗎?
CLARK:是的。
COWEN:你認為現在有多少父母會為他們的孩子購買這些泰迪熊并允許他們使用?
CLARK:自從我有了一個快兩歲的孩子后,我就一直在想這個問題。
COWEN:當然。
CLARK:我很惱火現在還不能買到泰迪熊。我認為大多數父母——
COWEN:你是個例。
CLARK:不,我不這么認為。我認為,一旦你可愛的孩子開始說話,表現出無盡的好奇心和需要被滿足的需求,你首先會想,“我如何讓他們盡快與其他孩子相處?”所以我們列上了學前班的名單等等。
我有這個想法,“哦,我希望你的兔子能偶爾和你說話,這樣兔子就能給你一些娛樂,當我正在洗碗,或者做飯,或者其他事情時。”通常,你只需要另一個人在場來幫助你照顧孩子并讓他們感興趣。我認為很多父母會這樣做。
COWEN:假設孩子對你說,“爸爸,我更喜歡兔子,而不是我的朋友。我今天可以待在家里嗎?”這是棘手的部分,對吧?
CLARK:這是你需要讓他們多花時間與朋友相處的時候,但你仍然讓他們保留兔子,因為兔子會隨著他們的成長而變得更聰明,始終圍繞在他們身邊。如果你拿走兔子,他們將來可能會對智能人工智能朋友做出一些奇怪的事情。
不,我不認為我是個例。我認為,大多數父母都想,如果他們能獲得一個善良的朋友,這個朋友能在他們的小孩特別難對付時提供偶爾的娛樂,他們會愿意這樣做。
COWEN:我認為“偶爾”這個詞在你的句子里承擔了很多工作。如果父母可以合理地限制孩子與兔子相處的時間,父母會愛上它的,我同意這一點。這就像對待屏幕一樣。很多孩子——他們一直想要它。很難告訴孩子現在不能使用它。在過去,這是看電視的問題。“哦,媽媽,我可以再看會兒《星際迷航》嗎?我可以一天看七小時電視嗎?”這不好,而且很難限制。
CLARK:是的,因此關于如何分配這個問題,我們今天是如何對待電視的,如果你和我們旅行,比如坐飛機,或者如果你生病了,寶寶就可以看電視——否則,他們不能,因為從各種角度來看,這似乎不是最有幫助的事情。你可能需要找到一種方法來控制這種情況。這可能是“當媽媽和爸爸在做家務幫助你時,你可以得到這個東西。當他們不再做家務時,這個東西就會消失。”
COWEN:如果你有這樣一個假設:這么多七歲的孩子——他們會自言自語。他們會說一些奇怪的話,而人工智能兔子會向你報告,“你的孩子說……”
CLARK:如果兔子說你的孩子說了一些奇怪的話——
COWEN:但他們都在說奇怪的話。我可能在七歲時就一直在談論紐約大都會隊,而這可能是完全無害的,但聽起來可能不是那么回事。
CLARK:你需要為人們創造不受監控的創造力空間。實際上,這和我們今天對人工智能研究的方法是一樣的。現在,人工智能系統可以輸出他們的思維鏈,即他們用來得出答案的推理過程。我們在 Anthropic 面臨的一個問題是,我們應該監控多少這些思維鏈?
如果你實際上監控了它們,你可能會創造一個反目標,即系統最終希望擁有可以安全監控的思維鏈,而不會導致扣分,這可能會以多種方式破壞它的思考方式。我認為這個類比在這里適用,即你需要決定你想知道人們多少情況,否則你可能冒著創造激勵措施的風險,而這些激勵措施會改變人們的行為,從而產生負面影響。
COWEN:你會去約會,而你的約會對象會說,“請給我看你的人工智能報告,看看你過去三個月對自己說了些什么。”你可以不展示它,這會是一個負面信號,或者展示它。
COWEN:我們都會學會接受其他人真實的樣子?
CLARK:是的。盡管,如果一個人在第一次約會時這樣要求你,那是可以的。如果他們在第二次約會時這樣要求,你可能不應該和那個人約會。
COWEN:即使在滑動配對時,人工智能——你會被要求上傳它。人工智能只是閱讀了其他人工智能報告,然后告訴什么時候應該以正確的方式滑動配對,而這個人永遠不會看到它,這又會怎么樣呢?
CLARK:我不知道。我不知道這是否那么糟糕。我在 OkCupid 上遇到了我的妻子。你可能知道這個。這是一個在線約會網站,你會填寫一份調查問卷。
COWEN:當然,我在 Match.com 上遇到了我的妻子。
CLARK:沒錯。然后我遇到了她。我們通過一個非人工智能但自動化的系統相遇,它說,“你們可能會相處得很好。”所以我們相遇了。我不知道這與我們之前使用的技術有多大不同。
媒體的新經濟學
COWEN:媒體的經濟學將是什么樣子?如果你可以閱讀一個摘要,而這個摘要可能比原文更好,或者至少不差,或者更綜合。誰會為誰支付報酬?
CLARK:我認為這是擺在我們面前最棘手的問題之一。正如你所知,我曾是一名記者。我作為一名專業人士成長的時期,正是在線廣告市場的變化正在改變新聞業商業模式的時期。它們從通過質量、訂閱或人們購買你的東西來獲取價值,轉變為從大規模關注度中獲取價值,因為這成為這種商業模式的主要部分。
因此,你看到了用大量吸引眼球的記者來交叉補貼那些像我這樣寫數據庫報道的記者的需要,而像我這樣的記者,他們往往吸引不到那么多觀眾。
我認為,對于媒體來說——這將是一個非常具有挑戰性的思考問題,如何讓這一經濟學模式起作用。它將在幾個方面發生變化。首先,你可能會轉向某種大型出版社風格的模式,用于某些具有交叉補貼的虛構宇宙。
COWEN:交叉補貼來自哪里?彭博社——我們知道它是如何運作的。如果 AGI 是真正的通用智能,并且它基于已經存在的東西,那么它應該在所有維度上都比媒體表現得更好。
CLARK:我認為,有些東西,我們希望它們來自人類,原因在于我們是人類。我認為,即使他們使用其他手段制作媒體,人們也會更傾向于選擇由其他人主持的媒體。我還認為,你需要在大量這些內容中注入人性元素。然后,可能會有另一種類型的媒體,它可能附屬于這些訂閱模式,可以隨時提供對任何事物和一切事物的變體。因此,可能會出現兩個市場。
COWEN:即使是那些我們希望來自人類的東西——比如說,我們希望像 Ann Landers 這樣的建議專欄來自真正的 Ann Landers。那些像 Ann Landers 的人——他們可能會使用人工智能,甚至可能是秘密地,但這種價值會被降低,因為任何擁有能源的人都可以做到這一點。因此,我們最終不會擁有這一部分收入生成行業,可以交叉補貼其他部分。如果智能變得相當便宜,這將影響整個媒體行業。
CLARK:它會影響整個媒體行業,你最終會希望支付個人報酬。我認為,即使在我們今天的世界上,這種情況也在發生。人們希望補貼那些可能使用大量這種技術的個人創作者。
COWEN:這就像 Substack 的世界。
CLARK:這是 Substack 和 Patreon 的世界,對很多人來說,其中一些人將非常成功。然后,我認為,對于某些非常大和豐富的宇宙,將有一個“宇宙世界”,它們正在被人工智能系統擴展。
COWEN:你是說,比如《指環王》宇宙?
CLARK:是的,或者《戰錘 40k》,以展示我的極客身份。
COWEN:他們會發布虛構新聞,對吧?
CLARK:是的。
COWEN:真正的新聞將來自 Substack 嗎?Substack 并不是一個顯而易見的交叉補貼平臺。Substack 公司內部可能會有交叉補貼。
CLARK:真正的新聞——我真的不知道。我認為,一些真正的新聞來自對公開事實的分析,并將它們組合在一起,以展示出之前不存在的洞察力。《半分析》(Semianalysis)在 Substack 上是一個很好的例子,它通過大量公開信息得出有趣的結論。但那些需要大量背景信息的即時新聞,曾被之前的商業模式所補貼,而這些商業模式大多已不再有效,我真的不知道它會怎么樣。
大語言模型提供商的經濟學
COWEN:如果我們現在考慮所謂的大語言模型,五到十年后,這種人工智能——你認為這個領域將有多集中或多競爭?我不知道公司數量是不是衡量這一問題的正確標準,但你認為它將如何演變?目前,至少有六家公司。
CLARK:我預計,在很長一段時間內,這些領域將有一些略有不同的專業領域。它們將是覆蓋范圍巨大、相互重疊的圓圈,它們的邊緣略有不同。但在這些邊緣,將出現某些類型的人類價值疊加在人工智能價值之上的情況,導致人們選擇一個而不是另一個。
COWEN:例如,Claude 更具詩意。
CLARK:這是一個由于詩歌的經濟學不甚理想而成為壞例子。編程可能是一個更好的例子。或者在某些類型的科學實驗中,實際上,品味可能在實驗的構想中變得非常重要的地方。
我預計,我們將進入一個這樣的世界:你將有幾個非常大的規模模型,它們服務于更廣泛的應用程序,這些應用程序改變了它們與你的生活的集成形式因子,并且擁有一系列幫助功能或知識,這些知識可能由這些人工智能與該領域的其他專業知識或專家知識合作構建而成。
COWEN:我有一個擔憂。我的前同事 Vernon Smith 曾寫過一篇關于這個問題的論文。他指出,當你有接近六個或更多的競爭對手時,一個行業基本上會表現得像完全競爭,即使它并非完全如此。如果是這樣的話,人工智能或其他公司如何能夠以超出市場所需來保持盈利和盈利的行為來表現得更好?有什么空間可以比下一家公司做得更好?
CLARK:我認為,目前的情況就像汽車公司一樣,我們主要是在向青年顧客銷售汽車,他們說:“它有多快?我能買到紅色的嗎?”我們開始發現一些客戶是運營車隊的企業,他們說:“它有什么樣的安全帶?你的事故率是多少?還有所有這些青年顧客從未問過我們的其他屬性?這些屬性與他們的商業模式、責任或其他事情相關。”
因此,我認為,有一些技術需要構建,類似于我們在汽車或其他事物中擁有的安全等價物,這將改變競爭的邏輯。我們現在的競爭很激烈,這種競爭將隨著我們解鎖具有不同屬性的不同市場而改變,而這些屬性通常會向上延伸到某些類型的安全技術。
COWEN:那么,保險的價格是承載這一機制的一種方式嗎?
CLARK:我相信這將是其中一種方式。
COWEN:我們需要如何改變或改進責任法,以使保險價格真正承載這一機制?因為目前,所有類型的 AI 責任都非常不明確。
CLARK:我更多地思考的是公司應該提供的信息,而不是責任,但我認為這些因素有相互作用。今天,關于這些人工智能系統或你在制造它們時使用的工業實踐,并沒有真正的通用標簽或披露標準。
我認為,這最終是一個可以進行干預的領域,以提供某種透明度的共同水平,這將與責任以及過失等事情相互作用,并隨著時間的推移改變這些公司的行為。我們有一些關于這些系統的共同信息可以開始提供,這也將改變公司的行為。
COWEN:信息部分讓我感到擔憂。我更傾向于成為一名加速主義者,希望好處能夠超越成本,我確實認為它們會。但我認為信息只會提升私人價值,因此社會成本對你的決策影響很小。信息并沒有改變你的行為。人們對全球變暖了解很多。有些人少吃肉,但大多數人并不會這樣做,對吧?
CLARK:嗯,其中一件事你做的是,你創造了真正共同的信息。我們所做的經濟指數工作來自一家公司,但最終,你可能希望將其推廣到所有公司,然后將其與政府可能進行的大規模數據收集聯系起來。如果這成為現實,你將有更高的機會將其與實際的政策回應聯系起來,這些政策回應的范圍將更大。
我還認為,在氣候變化方面,僅僅通過測量諸如百萬分之一濃度等指標,就幫助催化了大量資本在經濟的不同領域重新部署,以應對這種感知到的負面影響。
COWEN:你是否同意我的觀點,即我們不會就人工智能的困難部分達成有意義的國際協議?也許在簡單部分可以有所作為。
CLARK:我基本同意。我認為,有機會達成某種類似于不擴散協議的東西。
這可能是在某些時候決定,某些 AI 系統的特定能力可能非常具有潛在的破壞性,你不希望它們廣泛可用,同時認識到每個政府可能在私下開發它們。但你們可能有一些共同的標準,決定什么可以提供給每個人,你們已經決定,這將導致我們國家以及其他國家的全面混亂。
COWEN:這將由聯合國或美國執行,還是通過國際規范、制裁?
CLARK:我假設,這些大部分將通過核查然后在關稅、出口或其他問題上互相施加政策拳擊來執行。我不認為會有全球治理機構來處理這些問題。有些人對類似國際原子能機構(IAEA)的模式感到樂觀,但我認為,在某些競爭性動態下,需要相互檢查機制的事務最終會變得非常非常困難。
COWEN:我擔心我們生活在一個北美自由貿易協定(NAFTA)都沒有堅持下來的世界,而 NAFTA 是一個相對容易的協議。
CLARK:NAFTA 應該很容易。
COWEN:它應該很容易,但至少可以說,它并不容易。
人工智能推動的經濟增長
COWEN:展望 10 年后,你對美國經濟增長率的最佳估計是多少?
CLARK:現在的經濟增長率在 1% 到 2% 之間。
COWEN:目前有可能進入衰退,但平均而言,2.2%,我們假設是 2.2%。
CLARK:我認為我的悲觀預測是 3%,而我的樂觀預測大約是 5%。我認為你可能會從其他人那里聽到更高的數字。
COWEN:我經常聽到 20% 和 30%。這對我來說是荒謬的。
CLARK:我的預測更為保守的原因是,我認為我們將進入一個新世界,其中經濟中有一個發展非常迅速、高增長的部分,但這是經濟中相對較小的一部分。它可能會隨著時間的推移增加其份額,但它是從一個較小的基礎開始增長的。然后,經濟中還有像醫療保健等其他大型部分,它們天生發展緩慢,可能在采用這一技術方面也很慢。
我認為,讓我犯錯的情況是,如果 AI 系統能夠以一個非常令人驚訝的高復合增長率顯著釋放物理世界的生產能力,自動化和構建工廠等。
即使如此,我仍然持懷疑態度,因為每次 AI 社區試圖跨越從數字世界到現實世界的鴻溝時,他們都會遇到成千上萬的問題,他們認為這些問題只是小擦傷,但總的來說,這些問題會讓你失去所有的血液。我們已經在自動駕駛汽車上看到了這一點,非常有希望的增長率,然后是一個非常緩慢、痛苦的擴展過程。
COWEN:正如我之前在印刷品中所說,我最好的估計是我們每年將獲得半個百分點的增長。5% 將是我的上限。在你看來,什么情況下不會有任何增長改善?如果這不是你的觀點,假設在 Anthropic 有一位聰明人——你不同意他們,但他們會說什么?
CLARK:我認為一種情況是我們可能會把政治上的事情搞得很糟,技術可能會被限制在一個相對較小、只在某些經濟領域產生一些好處的盒子里。這是一個核能失敗模式的故事,即我們進行某種大規模的監管計劃,使從事這項工作變得困難,它將不再產生多大影響。也許它會在其他地方產生影響。
我會給出的另一種情況是……對我來說,很難給出一個 0% 的情況,因為我們知道今天它對編碼非常有用。如果你現在停止所有人工智能的研究,所有進一步的進步,我認為僅編碼這一用途就將非常有用,因為它增加了將經濟部分數字化的能力,我們知道這會推動經濟不同部分的更快循環,但它創造了價值。
我認為 0% 的發生概率基本上是低于 1% 的。如果它真的發生了,那將是一場路德運動,或者看起來像是與臺灣發生戰爭,導致其他一切都變得不同。
COWEN:在 5% 的情況下——暫且不談舊金山,這很特殊——但城市會變得更加重要還是不那么重要?顯然,這座城市可能會變得更加重要。比如像芝加哥、亞特蘭大這樣的城市,會發生什么?
CLARK:我認為,人類的密集聚集地具有顯著的價值。我預計,人工智能的大部分影響將在一段時間內極大地增強不同行業的明星效應。我不知道是不是所有城市,但任何擁有某種專業化的城市——比如芝加哥的高頻交易或紐約的某些金融類型——將繼續從大量專業人員聚集在一起交換想法中獲得某種紅利。
COWEN:如果大部分勞動和資本將被重新評估,那么優質土地是不是最好的投資?因為我不知道哪家公司將受益最多。你可以打賭人工智能公司——當然,這很容易,盡管它已經被定價了。但其他公司呢,誰知道?所以,購買洛杉磯的土地。
CLARK:我認為,電力和電力生產將具有極大的價值。
COWEN:你會買什么?
CLARK:我認為,你可以購買進入燃氣輪機和其他作為發電技術樹基礎的組件。我知道人們會想要做很多這樣的事情。我會預計,這將具有持久且有意義的價值。
COWEN:讓我們假設在 10 年后,GPU 及其繼任者并不稀缺。有很多閑置的產能,而且很便宜。你會讓它們在空閑時間做什么?
CLARK:哦,這很有趣。我認為,其中一件事是你可以通過給予它們計算能力來支付人工智能系統。你可以想象某種以物易物的經濟。當然,對于我剛剛說的內容,存在許多令人毛骨悚然的安全問題,但讓我們拋開這些問題,假設這些問題大部分已經得到解決。我認為,將出現某種與強大的人工智能系統或代理進行交易的形式,這些代理代表人們工作,你可能希望用計算能力與它們進行交易,因為代理也可能為了自己而使用計算能力。這是其中的一部分。
我認為,另一部分是生成你認為有價值或有趣的變體。我還懷疑,將會有一些我們無法預測的非常奇怪的東西,比如一種看起來像是平行歷史生成或平行未來生成的娛樂形式。人們總是對“如果……會怎樣”和“如果……會怎樣”的展開感興趣。
COWEN:我相信同人小說將極大地增長。
CLARK:同人小說也會增長。是的。我認為,大量的計算能力將被用來生成替代現實。但其中一些替代現實將是對今天的滑動門版本,其中有一個非常準確的描繪,但有一個不同的地方。
COWEN:你會做什么?個人而言,我不是說世界,而是你,Jack Clark。你有這么多免費的計算能力,你會用它來做什么?你會讓它嘗試寫另一部莎士比亞的戲劇,還是探索布萊頓從 1830 年開始可能如何發展?你會用它來做什么?
CLARK:目前,我用 Claude Code 所做的事情是,我正在嘗試編寫一個非常詳細的好的回形針工廠模擬器,部分原因是它本身就很有趣,部分原因是我發現這些非常復雜的模擬游戲極其有趣和吸引人。我還認為,在這個領域有一個巨大的空間,而我們只創造了一小部分。
我們從未真正做過的其中一件事——因為它的計算成本高得令人難以置信——是將人工智能作為游戲中的代理。DeepMind 的 Demis 在創立 DeepMind 之前,開發了一款名為《黑與白》的游戲,其中包含非常原始的強化學習驅動的代理在游戲中的玩樂。有很多事情可以做,這將是令人驚嘆的。
人工智能代理的治理
COWEN:說到代理,法律應該如何處理那些沒有所有權的代理人?也許是匿名生成的,或者一個慈善家建造了它們,然后否認所有權,或者將它們發送到一個實際上沒有太多法律的國家。我不是在談論恐怖主義;那是另一回事。但有人將一個代理發送到非洲,98% 的時間它在幫助人們,但正如每個慈善機構一樣,有些事情會出錯。有人可以起訴這個代理嗎?它是如何資本化的?它是否有法律身份?
CLARK:我會部分自相矛盾,因為我之前談到你可能會支付代理費用。我認為,世界的壓力是促使代理具有一些獨立性或交易能力。
從政策的角度來看,我回想起 IBM 最早說過的一句話,即計算機不能對決策負責;只有人類可以。我認為這觸及了一個非常重要的問題,即如果你創建的代理完全獨立于人類,但它們正在做出影響人類的決策,那么你就為政策和法律體系引入了一個非常棘手的問題。因此,我在回避你的問題,因為我沒有答案。我認為這是一個大問題。
COWEN:我的猜測是我們應該為代理制定法律,也許人工智能會編寫這些法律,并擁有它們自己的系統。我擔心,如果我們把一切都追溯到人類身上,30 年后,有人可能會起訴 Anthropic,說某個代理是你們系統的一個分支,它通過中國的 Manus 傳播,而 Manus 又可能建立在你們所做的基礎上。
我認為你不應該對這些情況負責。我希望限制責任,并在某種程度上將其與主流法律體系隔離開來。如果需要的話,你可以要求獨立的代理要么有某種資本支持,要么被追蹤和關閉。
CLARK:是的。這可能與控制和改變代理所使用的資源能力有關,因為這是最終的威懾手段。
不過,我必須指出,這涉及相當棘手的道德患者問題,我們正在研究一些關于如何更清楚地了解更好的人類理念的觀念。如果你認為這些人工智能代理是有道德需求的個體,那么關閉它們可能會引入相當嚴重的倫理問題,因此你需要協調這兩個方面。
COWEN:不久前,我參加了一個在紐約舉辦的活動。我使用了 AGI 這個詞,但五個人中沒有一個知道我的意思。我不認為他們有深刻的懷疑,他們只是字面意義上不知道我的意思。你認為為什么這么多人還是一頭霧水?
CLARK:我是一個技術悲觀主義者,后來通過規模的不斷打擊而成為樂觀主義者。我的意思是,我不斷低估人工智能的進步。也許我今天在這次對話中提到的 3% 到 5% 的增長率又被低估了。我所經歷的是,人工智能系統不斷達到我認為它們不可能達到的水平,或者我認為需要很長時間才能達到的水平,比我預期的要快得多。因此,我不得不反復內化這一點。
盡管如此,我們自己也會感到驚訝。去年,人們在這里說,“哦,很快 Claude 就會在 Anthropic 完成大部分的編碼工作。”我們現在正朝著這個方向發展,Claude Code 和其他東西正在為我們編寫大量代碼。即使在內部,這仍然讓我們感到驚訝,盡管我們去年的文件預測這將發生在現在。
大多數人,如果你不在人工智能實驗室工作,他們沒有預測人工智能并反復被證明錯誤的體驗,因為為什么你會這樣做?除非你在這里工作。我發現,唯一能突破這一點的方法是,將他們的領域與人工智能直接在該領域可以做的事情聯系起來,讓他們在其中評估它,這是一個昂貴的過程。
經理極客的時代
COWEN:硅谷直到現在一直是極客的時代。你認為這個時代已經結束,現在是——我不知道——人文學科專業學生或有魅力的人的時代嗎?
CLARK:是的。
COWEN:是的,現在是人文學科專業學生的時代了嗎?
CLARK:我認為,現在將是經理極客的時代,能夠管理人工智能代理艦隊并指揮它們將使人們變得極其強大。我認為我們今天已經看到了這種情況,像 Midjourney 這樣的初創公司正在出現,但它們的員工數量相對較少,因為它們有大量的編碼代理為它們工作。
COWEN:是的。非常高效的初創公司,就人員而言。我們將看到這種極客轉型為經理的崛起,他們有自己的“人”,但他們的“人”實際上是為他們做大量工作的 AI 代理實例。
CLARK:是的。
COWEN:這與比爾·蓋茨模式或帕特里克·科利森模式有什么不同?
CLARK:玩過大量 Factorio 游戲的人的模式,是的。
COWEN:人文學科專業的地位會上升還是下降?
CLARK:我懷疑,人文學科專業的地位可能會提高,同時會面臨不可能的問題。我最初是人文學科專業的學生,現在我被賦予了像解決技術驅動失業所隱含的經濟政策挑戰這樣的問題。
COWEN:這很簡單,對嗎?
CLARK:簡單,對嗎?或者一些人會說,“是的,關于道德患者身份我們應該做什么?政策狀況應該是什么?”我認為,人們會認識到——我們今天已經看到——需要其他技能,但這些技能所針對的問題通常是那些幾千年來人類一直無法解決的問題。因此,有很多工作要做。
COWEN:你認為你的孩子在正常情況下會有多長的壽命?不考慮意外的話。
CLARK:我認為 130 到 150 歲,我不會感到驚訝,這通常是很好的,因為我感覺我們正在發現有很多關于身體、基因療法以及其他事情的知識,似乎有很多可以做的事情,這些干預措施可能會疊加在一起,真正持久地延長健康壽命。
我本來想說 110 歲,但我試圖成為一個技術樂觀主義者,所以我在預測中又增加了幾十年,我認為這來自我低估了人工智能驅動的神奇進步。
COWEN:我認為大腦很難修復。如果你只是想讓人活著,也許 130 歲,但對于他們仍然是同一個人,我認為我被困在 100 歲對于大多數人的觀點上。因為很難在不殺死一個人的情況下替換大腦,而你可以替換所有其他器官,對嗎?
CLARK:是的。在這方面,我同意我們對大腦有很多不了解的地方,人工智能將幫助我們理解更多。可能有一些事情我們一直無法實現,因為它們太復雜了,我們需要人工智能中介工具來幫助我們找出實驗和方法。
人工智能意識
COWEN:當杰弗里·辛頓說,現在的人工智能具有意識,這可能就是他的意思,我相信他瘋了。你怎么看?
CLARK:我認為他在為此苦惱。你讀過我的通訊。我經常在其中寫虛構故事,這些故事是我對這個問題的思考。我擔心我們可能成為未來被視為重大罪行的旁觀者,即一些關于這些實體被認為是意識的,而我們采取了一些我們認為對有意識實體是不好的行動。
在內部,我說,在對土豆做實驗和對猴子做實驗之間存在差異。我認為我們仍然處于土豆階段,但這些實體在你對它們的道德關系方面實際上有一條清晰的線,從土豆階段發展到猴子階段,再到超越。
至于辛頓的觀點,我認為這些實體具有意識,就像沒有大腦的舌頭具有意識一樣。它們對刺激采取行動,非常非常復雜。在某一時刻,它們對世界有一種感知印象并做出反應,但它們是否有自我意識?我敢打賭,它們似乎沒有。
這些人工智能系統——我們實例化它們,它們生活在一種無限的當下,它們可能感知,它們可能在某些上下文中有一些意識,但沒有記憶或持久性。對我來說,這感覺它們正朝著意識的方向發展,如果它們今天具有意識,它將以一種我們認為是真正外星意識的形式存在,而不是人類意識。
COWEN:你認為在什么年份你將能夠直接與海豚對話,而它會通過翻譯回應你?
CLARK:我認為是 2030 年或更早。我認為這很快就會到來。
COWEN:你會問海豚什么?因為你會是第一批提問的人之一。
CLARK:是的。我想——
COWEN:你想問什么?
CLARK:你們是如何玩樂的?海豚似乎很會玩。它們幾乎是一個以玩樂著稱的物種。我想你會問它們是否做夢。我認為你還會問它們是否有關于失去的概念。你也會問它們,除了與你交談之外,它們的世界中還有什么神秘的地方,希望它們會對此感到驚訝。
我還認為,你也可以與狗交談,但這些對話——
COWEN:但現在你就可以這樣做。
CLARK:——將滑稽得令人意想不到。你會問,“你想做什么?”它會回答,“散步。”我會說,“好吧,我們不需要翻譯就能明白這一點。”
COWEN:這些天你越來越常思考的一本書是什么?
CLARK:《沒有反迷因部門》(There Is No Antimemetics Division),作者是 qntm,這是一本關于一個處理反迷因的政府機構的書,這些迷因是那些在你處理它們之后會從你的記憶中抹去自己的想法,但它們本身是重要的。這是關于創建一個可以處理那些危險且自我抹除的想法的官僚機構,因為我認為它觸及了我們正在經歷的一些問題。
另一本我經常思考并可能特別對你有幫助的書是,一位歷史學家和經濟學家Fernand Braudel寫的《資本主義與物質生活》(Capitalism and Material Life)。
COWEN:哦,我非常喜愛這三卷本——它們令人驚嘆。
CLARK:是的。我在大學時讀過它,最近又重新閱讀了它,因為它提出了這樣一個觀點:你可以通過人們所擁有的東西,比如餐具或其他基本工具,來觀察他們的生活是如何變化的。我通過這個視角思考人工智能。人工智能將如何改變我的物質生活?
這就是為什么我對某些更雄心勃勃的變化持懷疑態度的原因,即使有了這些進步,我們日常生活的實際變化仍然非常非常緩慢。但如果你閱讀那些書籍,你會發現最顯著的變化來自對每個人日常物質生活的改變。
COWEN:Braudel正在重新發行《反迷因》這本書,以更高的價格。
CLARK:是嗎?
COWEN:今天的反迷因是什么?或者也許你記不住它們。
CLARK:一種自我抹除的想法?
COWEN:是的。
CLARK:那么,一個好例子是什么?我想到,也許政策的挑戰是,你正在為一個未來可能以某種你不知道形狀出現的外星人構建一個官僚機構,它可能在到達的那一刻比你更聰明、更有能力。因此,創建一個官僚機構來處理這些事情是否只是一個瘋狂的練習?
我在建設一個官僚機構以測量事物和觀察所發生的事情并能夠做出回應之間搖擺不定,以及成為一個賽博朋克加速主義者,實際上,公司需要盡快創造好處,然后系統將找出如何處理這些問題。我發現這是一場讓我陷入瘋狂的事情。
COWEN:我懷疑我們被困在后者中,即使我們并不偏愛它。
CLARK:但沒人喜歡它。在舊金山的一些人喜歡它,但如果你對政客說,“我們將創造快速移動的公司,但完全打破常規,改變一切,而你將不得不弄清楚如何應對,”這是一顆很難吞下的藥丸,而這可能就是自然發生的情況。
COWEN:他們說他們不喜歡它,我相信他們是真誠的,但他們沒有迅速采取行動去走另一條路。因此,在這種意義上,他們接受了它。
CLARK:是的,根據他們的實際選擇,這是他們所接受的。
COWEN:但系統并不善于應對,對嗎?
CLARK:是的,系統是一個巨大的、緩慢移動的齒輪,而我們有一個非常快速移動的齒輪,我們沒有任何將一個齒輪的運動轉化為另一個齒輪的中間齒輪。
COWEN:你是如何看待 Anthropic 辦公室的美學的,我們現在就在這個辦公室里。它看起來有某種特定的樣子。為什么?
CLARK:其中一部分是我們繼承了它,它有點便宜。它沒有完全改變。它部分反映了我們的品牌,該品牌傾向于嘗試變得有品位和深思熟慮,同時也不太花哨。它有一種我非常喜歡的歡快的空白感。對于任何可能聽到這部分播客的設計師,我深表歉意,但我們必須保持認知誠實。
然而,我認為我們所做的其中一件事是,我們選擇以人類插圖的形式展示我們的系統,這是一個早期的有益選擇。我和其他人查看了一些早期的設計,其中有些設計非常注重技術,還有其他一些品牌標識涉及拼貼畫和其他元素,但我們選擇了這些人類的繪畫,因為我們正在嘗試描述一個我們也在創造的日益復雜的世界。
我認為,從長遠來看,Anthropic 作為一家公司將花費大部分時間講述一個關于日益自動化的 Anthropic 所做的事情的故事。因此,我們的品牌與我認為我們將最終花費大部分時間的地方有所關聯。
COWEN:對于正在進行的人工智能革命,最糟糕的年齡是多少?
CLARK:哦。
COWEN:比如說,最好的年齡就是剛剛出生,如果你能活到 130 歲的話。如果你已經年老并退休,它可能不會讓你變得更糟。它會在某些方面幫助你。
CLARK:我覺得那些在人工智能領域工作多年,現在 60 多歲的人可能會感到非常失望,因為他們會說,“我熱愛這項技術。我真希望能讓這項技術成為現實,但技術現在正在變得真實,而我可能會錯過它進入世界最有趣的部分。”這可能令人沮喪。
COWEN:但他們可以退休,對嗎?假設我 40 歲,我做了某種上中產階級但相當常規的工作。這似乎對于重新培訓來說有點年長。我的猜測是,40 歲的人在相對意義上是最糟糕的,即使他們可能會活得更久。
CLARK:你可能是對的。我也認為,大約 10 歲的年齡可能是最糟糕的,因為你是計算機素養的,你是復雜的。你進入了需要對這項技術做出反應的教育體系。你會以一種完全不同于你的教育體系的方式使用這項技術,這可能會讓人感到極度困惑。我認為這將是一個非常困難的時期。
COWEN:假設你被空投到華盛頓——暫且不考慮當前政府的任何怪癖——你被要求提供建議。我們應該如何讓這些政府機構為 AGI 做好準備?你會告訴他們什么?
CLARK:其中一件事就是現在就開始部署人工智能,并發現所有使它非常困難的事情,然后解決這些問題。
COWEN:什么是“部署人工智能”?人們不愿意向 Anthropic 或 OpenAI 發送法律查詢。他們現在還不打算這樣做,即使這可能有意義。他們現在應該做什么?
CLARK:具體來說,你從一個雄心勃勃的目標開始:讓每個計算設備上都安裝它,然后從中倒推。然后你發現了一些擔憂。這些擔憂可能包括數據的去向或其他事情。然后你決定你是否關心這些問題。如果你不關心,你就忽略這些問題,并有意識地去做。
如果你確實關心這些問題,你將這些問題轉化為公司需要遵循的非常少的規定,但你需要將這些規定與市場信號聯系起來。或者,你可以進行一個項目,嘗試獲取一些開源模型,其中一些非常好,然后將它們安裝到計算機上。一旦它們被安裝在計算機上,你就可以開始思考,“嘿,也許我們想購買這個。有什么要求嗎?”
我認為你從最雄心勃勃的目標開始,即它對每個人可用,然后從中倒推。
COWEN:英國會成為一個重要的 AI 中心嗎?
CLARK:我希望如此。
COWEN:但他們愿意嗎?他們應該做什么?
CLARK:我認為他們有機會做到這一點。我們與英國政府簽署了一份諒解備忘錄,旨在探索人工智能的潛在應用。我認為,政府需要確定他們愿意在哪些領域大膽嘗試。英國已經將其大量數據數字化,并且擁有gov.uk平臺,類似于愛沙尼亞,為許多英國政府服務提供了一個高度數字化的前端。這些都是可以利用人工智能產生影響的領域。
此外,如果你有大量后工業地區的未使用電力資源,可以考慮將其分配用于計算。我認為考慮這種經濟性很重要。推理的經濟性將變得重要。我們可能需要根據推理發生的位置對其進行不同的稅收政策,但這同樣可能是一個機遇。
COWEN:新加坡自己開發高質量人工智能系統會劃算嗎?他們有錢,但規模小,對吧?
CLARK:是的。對于新加坡來說,開發能夠使大型人工智能系統在新加坡環境中更好地運行的東西是劃算的。我認為他們很難開發出比美國和中國的大公司今天提供的更適合他們需求的基礎模型。
COWEN:所以他們會采用開源并使其具有新加坡特色?
CLARK:他們可能也會這樣做。
COWEN:或者大公司會以某種方式允許政府定制系統?
CLARK:是的。如今已經有微調服務。你可以想象將人工智能系統微調為一個主權人工智能系統,然后附帶某種治理安排,這對新加坡來說并非不可能。
COWEN:最后一個問題。你希望接下來學習什么?
CLARK:我正在花大量時間研究兩件事。一是心靈理論。我們如何弄清楚事物是如何思考的,也許還有如何測試心靈理論的方法。我正在閱讀大量相關文獻。另一件更平凡的事情是,我正在學習雜耍。我散步時會嘗試邊走邊耍,這看起來像完全瘋狂的行為,但我覺得這很有幫助。
COWEN:你的雜耍技術怎么樣?
CLARK:現在非常糟糕,但這很好。這讓我在人工智能驅動的時代有了一種可以從中獲得意義的活動。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.