AI、AI、AI，一天到晚都是AI，這背后是不是有什么陰謀？

當AGI成為一種必然的宿命

機器大軍正在向我們逼近，或者說，我們被告知如此。不是今天，但也為期不遠，快到我們似乎必須在它們的包圍到來之前，重新組織整個人類文明。在董事會的會議室、大學的講壇、議會的聽證會，以及那些令人窒息的科技報道中，超級智能的幽靈正愈發頻繁地在我們的話語體系中盤桓。

它通常的描述是“通用人工智能（AGI）”，有時則會被描繪得更加廣泛，但始終被視作一種在所有領域都超越人類認知的人造心智，能夠實現遞歸的自我改進，甚至可能對人類生存構成威脅。但無論叫什么名字，這種即將到來的超級智能，已經占據徹底殖民了我們的集體想象。

這個場景呼應了科幻小說的推測性的譜系，從阿西莫夫的“機器人三定律”（一種試圖限制機器自主權的文學嘗試），到后來的斯坦利·庫布里克和阿瑟·C·克拉克的HAL 9000，或是威廉·吉布森筆下的失控網絡。這些曾經屬于描述性思維實驗的領域，如今卻成為一種準政治的預言（Quasi-political Forecast）。

超級智能的敘事：一種權力的裝置

這個敘述與任何科學共識都關系不大，它實際上是從特定的權力回廊中滋生出來的。那些最高調的超級智能預言家，恰恰是那些正在構建他們所警告之系統的始作俑者。當山姆·奧特曼一邊高談闊論AGI對人類的生存威脅，一邊爭分奪秒地推動其開發，或者當埃隆·馬斯克一邊警告AI末日，一邊創辦公司加速其發展時，我們看到的是一種以預測為名的政治偽裝。

超級智能的話語體系作為一個精密的權力裝置在運作，它將關于企業責任、工人失業、算法偏見和民主治理等現實問題，轉化為關于意識和控制的抽象哲學謎題。這種障眼法并非偶然，也并非無害。通過將假設性的災難置于公眾討論的中心，AI系統的架構師們把自己定位為不被人類接受的守護者，背負著可怕的真相和巨大的責任。他們搖身一變，成為文明與其潛在毀滅者之間不可或缺的中介，而巧合的是，這一角色恰恰需要巨額資本投入、最少的監管和高度集中的決策權。

試想這種框架是如何運作的？當我們討論未來的AGI是否可能消滅人類時，我們并不是在談論被算法監控所支配的亞馬遜倉庫工人，也不是在談論那個社區被自動武器系統鎖定的巴勒斯坦人。在存在主義風險的宏大修辭面前，這些當下的現實逐漸被淡化為背景噪音。這些痛苦是真實的，而超級智能仍然是理論上的；但我們的注意力和資源——甚至我們的監管框架——卻越來越多地轉向后者，各國政府正在組建前沿人工智能工作坊，并為尚屬假設的未來系統性風險起草預案。與此同時針對當前的勞動保護和算法監控的限制，卻依然被束縛在日益捉襟見肘的立法之中。

在美國，關于“對人工智能安全、可靠和可信地開發與使用”的第14110號行政命令，雖然提及了民權、競爭、勞動和歧視等問題，但其最有力的問責義務卻指向了大型、高能力的基礎模型以及未來計算量超過一定閾值的系統，要求企業向聯邦政府分享技術信息，并證明其模型符合特定的安全限制。英國則走得更遠，成立了前沿人工智能工作坊——現已并入人工智能安全研究所，其職責聚焦于極端的、假設性的風險。歐盟人工智能法案（AI Act），沒有試圖規范當前AI帶來的危害，卻仍然專門設有一節討論未來某個未知時間點可能出現的系統性風險和基礎模型風險。在這些司法實踐中，政治能量都聚集在未來的、推測性的系統之上。

超級人工智能的敘事，正在非常有意識地推進一項政治議程，即將注意力從當前的控制體系轉移到遙遠的災難上，把討論焦點從現實的力量轉移到想象的未來。關于機器封神的預言重塑了權威的獲取方式，以及由誰的利益來掌舵 AI治理；同時壓制了那些在算法下受苦者的呼聲，放大了那些希望人類滅絕的聲音，使這些聲音主導了討論。這種偽裝成中立未來主義的論調，實則是對當下政治經濟的一種干預。擦亮雙眼，超級智能的預言更多不是關于機器的警告，而是在為權力服務，而這種策略，必須被識破。這一敘事的力量，正源自其歷史。

在理性主義的祭壇前膜拜

超級智能作為主導AI敘事，在ChatGPT之前就已出現，可以追溯到20世紀50年代冷戰戰略與計算理論之間奇特的結合。作為智庫的蘭德公司（RAND Corporation），其核戰略家們曾模擬人類文明的毀滅，為將智能視為與文化與政治絕緣的純粹計算這一概念提供了思想溫床。

早期的AI先驅繼承了這一框架，當艾倫·圖靈提出他著名的測試時，他有意回避了意識或經驗的問題，轉而關注可觀察的行為——如果一臺機器僅通過文字就能讓人類對話者相信它具有人性，那么它就值得被稱為智能。這種行為主義的簡化之后被證明是關鍵性的，因為它將思維視為可量化的操作，從而將智能重新定義為可以被衡量、排序，最終被機器超越的東西。

據數學家烏拉姆（Stanislaw Ulam）回憶，早在1958年，計算機科學家馮諾依曼便談及一種技術奇點，即加速的進步終將使機器能夠改進自身設計，迅速將自身提升到具有超越人類的能力。這一概念在20世紀60年代由數學家歐文·古德（Irving John Good）進一步完善，奠定了超級智能討論的基本框架：遞歸式的自我進化、指數級的增長，以及人類所需要發明的最后造物。當然，這些只是數學上的推演而非實證觀察，但此類推測與思想實驗被如此頻繁地復述，以至于它們獲得了預言般的重量，使其所描繪的想象未來顯得不證自明。

20世紀80年代和90年代，這些思想從計算機科學系的象牙塔，遷徙到了一種獨特的亞文化圈層，一群圍繞著計算機科學家尤德科夫斯基（Eliezer Yudkowsky）及其奇點研究所（后更名為機器智能研究所）的理性主義者和未來主義者。這個群體構建了一個關于超級智能的理論框架，即效用函數，一個旨在指導人工智能決策的形式化目標系統。

在回形針思想實驗中，他們設計了一個高度先進的人工智能，它的唯一目標是盡可能多地制造回形針。這個微不足道的目標促使機器消耗所有資源。該思想實驗突出了工具性收斂的可能，即幾乎任何目標都會促使人工智能尋求權力和資源。這個思想實驗還提出了正交性論題（Orthogonality Thesis），該定理認為智能與道德價值是獨立的。他們為一個并不存在的實體創造了一套學術化的哲學體系，包括對不同類型的人工智能失控情景給出了細致分類，以及對可能的未來智能間非因果（acausal）權衡，給出了詳盡論述。

這些思想家的共同點在于他們對某種推理風格的堅定承諾。他們的實踐或許可以被稱為極端理性主義，即相信純粹的邏輯，在脫離經驗約束或社會背景后，仍能夠揭示關于技術和社會的根本真理。這種方法優先考慮思想實驗而非數據，重視巧妙的悖論而非日常觀察，其結果是一套讀起來如同中世紀神學，精妙而復雜，但卻完全脫離了人工智能系統實際發展的論述。誠然，我們應當承認，這種脫節并不意味著他們的努力毫無價值，相反，通過將抽象推理推向極限，他們澄清了關于控制、倫理和長期風險的問題，這些問題后來為更加務實的AI 政策和安全討論提供了基礎。

這一傳統在當代體現最顯著的表述，出現在波斯特洛姆（Nick Bostrom）2014年的著作《超級智能》中，該書將邊緣化的互聯網哲學轉變為主流討論。作為前牛津大學哲學教授，波斯特洛姆賦予了此前只存在于科幻小說和以晦澀標題命名的博客中的情景以學術上的嚴肅性。盡管他的書中沒有包含任何實證的AI研究，也幾乎沒有涉及實際出現的機器學習，但它卻成為硅谷的必讀書目，常被科技億萬富翁引用。

馬斯克曾推特表示：“波斯特洛姆的《超級智能》值得閱讀。我們需要對AI格外謹慎。它可能比核武器更具危險性。”馬斯克提醒人們保持謹慎是正確的，這從他自己的人工智能公司向孟菲斯的Boxtown（一個以黑人為主的工人階級社區）排放1200至2000噸氮氧化物及甲醛等有害空氣污染物的行為中，便可得到佐證。

這篇評論并非試圖貶低波斯特洛姆的成就，他的功績在于將關于AI的那些蔓延且往往語無倫次的恐懼，梳理成了一個嚴謹的框架。但他的書有時讀起來像是一項自然歷史研究項目，他像分類學家一樣，將通往超級智能的不同路徑、各種“失敗模式”（即系統可能出錯或毀滅我們的方式），以及“控制問題”的解決方案（即保持AI對齊的方案）分門別類。這種分類學的方法，甚至讓最狂野的臆測也披上了科學的外衣。通過將超級智能視為系統性研究的對象而非科幻設定的前提，波斯特洛姆成功地將存在性風險洗白進了體面的話語體系之中。

有效利他主義：

理性的計算與被遮蔽的痛苦

有效利他主義（effective altruism）運動為這些理念提供了社會基礎設施。其核心原則是通過理性計算，以最大化長期收益。在這一世界觀中，超級智能的風險被嚴絲合縫地嵌入其中，因為如果未來的人與現在的人一樣重要，而一次小概率的全球性災難所造成的危害超過了持續的傷害，那么防止人工智能末日就成為首要任務。按照這種邏輯，假設中出現在未來的生命，其優先級會超越當下人們所經歷的痛苦。

這并非僅僅是書齋里的抽象辯論，因為認同有效利他主義的慈善家們將大量資金投入了人工智能安全研究，而資金決定了研究人員關注的方向。與有效利他主義理念一致的組織已在大學和政策領域建立，發布報告為政府提供關于人工智能的思考建議。英國的前沿人工智能特別工作坊（Frontier AI Taskforce）包括了與有效利他主義運動有明確關聯的成員，評論人士認為這些聯系有助于將有效利他主義認定的優先事項加入到政府有關人工智能風險的政策中。

有效利他主義鼓勵其支持者進入公共機構和主要實驗室，從而形成一條將這些優先事項帶入決策核心的人才管道。前美國政府機構“情報高級研究計劃局”（Intelligence Advanced Research Projects Activity）主任Jason Matheny曾描述過，有效利他主義者可以通過“在政府職位中摘取低垂的果實”來施加影響。超級智能的討論之所以傳播，不是因為專家普遍認為這是我們最緊迫的問題，而是因為一場資源充足的運動為其提供了資金和接觸權力的渠道。

這并不是要否認與有效利他主義理念或與Bostrom所闡述的超級智能這一概念進行交流所帶來的價值。問題在于，一旦這些理念進入政治和商業領域，它們是何其容易被曲解。理清這段超級智能的思想譜系很是重要，因為它揭示了超級智能討論作為一種文化產物的特性，這些理念已經超越了理論，進入了制度領域，獲得了資金和倡導者。而它的出現根植于那些推崇理性主義而非經驗主義、將個人天才置于集體判斷之上、并優先考慮技術決定論而非社會背景的制度中。

末日企業家真正在乎的

是利潤而非人類的安全

超級智能從一種邊緣的互聯網哲學蛻變為董事會的頂級戰略，無疑是21世紀最成功的意識形態戰役之一。那些此前只盯著季度財報和用戶增長曲線的科技高管，突然開始像神秘主義者一般，高談闊論人類的宇宙宿命。這種轉變重塑了人工智能發展的政治經濟格局。

OpenAI，這家成立于2015年、旨在確保人工智能造福全人類的非營利組織，正是這一轉型的縮影。OpenAI已演變為一種奇特的嵌合體，它是一個由非營利董事會控制的“利潤上限”公司，估值高達5000億美元，卻在爭分奪秒地構建那個它自己警告可能會毀滅我們的AGI。這種結構因其復雜性而顯得繁復，但在超級智能的邏輯中卻完全合情合理。如果AGI既是終極的應許之地，又是存在的終極威脅，那么構建它的組織就必須是矛盾的統一體，既商業又利他，既激進又審慎，既胸懷天下又諱莫如深。

OpenAI的首席執行官奧特曼已將勉為其難的先知（Reluctant Prophet）這一修辭姿態修煉得爐火純青。在國會聽證、博客文章和采訪中，他一方面警告人工智能的潛在危險，另一方面又堅持推進技術發展的必要性。他今年早些時候在自己的博客上寫道：“我們的使命是確保AGI能夠造福全人類。”他的論點中有一種強烈的緊迫感，認為我們必須在其他人之前完成AGI的構建，因為唯有我們才擁有足夠的責任感去駕馭它。奧特曼似乎有意將OpenAI定位為人類的代表，背負著創造類神智能的可怕重擔，只為將其關進籠子里。

盡管如此，OpenAI也在追求利潤。而這一切真正圍繞的，就是利潤。超級智能的敘事帶來了巨大的財務影響，為尚未展現出持續自給自足能力的公司賦予天文數字的估值。畢竟，如果你正在打造人類的最后發明，傳統的商業指標或許便不再適用。這種末世論框架解釋了為何微軟會向OpenAI投資130億美元，為何風投機構熱衷于投資致力于AGI的初創公司，以及為何市場會將像ChatGPT這樣的大語言模型視為全知的先驅者。

由前OpenAI高管創立的Anthropic，將自己定位為“安全導向”的替代方案，承諾打造“有用、誠實且無害”的AI系統，從而籌集了數十億美元資金。但這一切不過是一場精心編排的安全表演，因為AI帶來的危害在OpenAI、Anthropic、Google DeepMind等公司之間的競爭中，并沒有真實的立足之地，真正的較量在于誰能夠構建出最佳、最盈利的模型，以及誰能更好地用謹慎的語言包裝這場野心勃勃的追逐。

超級智能的自我實現預言排除民主討論

這種動態引發了一場底線競賽，每家公司都以競爭對手可能不夠謹慎為由，為自己的加速辯護：中國人來了，如果我們放慢速度，他們就會率先構建對齊不當的AGI。Meta在沒有適當保障的情況下發布了開源模型。如果某個無名之輩率先突破了怎么辦？這種偏執的邏輯封死了任何真正的暫停或民主商議的可能。于是，速度即安全，審慎即魯莽。

超級智能的討論也重塑了企業內部的政治格局，AI安全團隊通常由相信存在性風險的成員組成，他們為激進的開發提供道德掩護，通過強化“我們在拯救世界”的信念，消解了針對商業行為的批評。如果你的安全團隊正在發表關于防止人類滅絕的論文，那么常規的商業監管看起來便顯得微不足道了。

2023年11月OpenAI那場廣為人知的宮斗大戲，將這些動態暴露無遺。當董事會因質疑奧特曼的坦誠而試圖解雇他時，由此引發的混亂暴露了公司內部潛在的權力關系。那些被“拯救人類”的愿景招募進來的員工，他們威脅如果他們的CEO不被重新任命，就要集體辭職。他們對奧特曼的忠誠，竟壓倒了拯救人類的使命？盡管微軟并未正式掌控OpenAI董事會，但作為公司的主要資助者和云服務提供商，它在關鍵時刻發揮了決定性影響，提出雇傭Altman及其追隨者。最終，那些認為“誠實是CEO重要品質”的董事會成員黯然離場，奧特曼凱旋歸來。

超級智能的宣傳服務于權力，當它與資本和控制所帶來利益發生沖突時，就會被擱置一旁。這從來不是關于拯救人類，而是關于利潤。

宣揚人工智能末日的創業者們發現了一個完美的公式。通過警告存在性風險，他們將自己定位為不可或缺的角色；通過競相構建AGI，他們為無限制地使用資源提供了正當理由；通過聲稱擁有獨特責任，他們轉移了民主監督的關注點。未來成了當下資本積累的人質，而我們卻被告知要對這些負責任的看守者心懷感激。

超級智能的討論積極地塑造著未來。通過不斷重復，推測性場景獲得了宿命般的力量。這一過程制造了必然性，揭示了權力如何通過預言發揮作用。

試看那個斷言：AGI將在5到20年內出現。在許多信源中，這一預測出人意料地保持穩定。但自20世紀中葉以來，研究人員和未來學家就反復承諾“在幾十年內”會出現人類水平的人工智能，但這一時間線卻不斷后移。這種移動的時間窗口具有特定的功能：它足夠近，可以為立即的大規模投資提供正當理由，又足夠遠，可以推遲必要的問責。它創造了一個時間框架，在此框架下，無論民主討論的情況是怎么樣，某些行動都會變得不可避免。

這種必然發生的敘事滲透到硅谷對人工智能的討論中。高管們宣稱，AGI的到來是不可避免的，無論我們是否喜歡，仿佛技術發展是一種自然力量，而非人類的選擇。這種將進步自然化的說法，掩蓋了那些使某些未來比其他未來更有可能發生的具體決策、投資和基礎設施。當科技領袖說我們無法阻止進步時，他們真正想表達的是，你們無法阻止我們。

媒體的推波助瀾在這一過程中起著至關重要的作用，因為大語言模型的每一次小幅改進都會被描繪成通向AGI的一步。ChatGPT能寫詩，顯然意識即將來臨。Claude能解決編程問題，奇點已經臨近。這類說法往往源自構建這些系統的企業本身，營造出一種趨勢，這種趨勢逐漸成為自我實現的預言。投資者因此投資，因為AGI似乎觸手可及；研究人員加入公司，因為未來正在那里被構建；政府推遲監管，因為他們不想拖累本國的領頭羊。

AGI必然發生這一敘事模式也通過語言選擇加以構建。注意“AGI”如何迅速取代“人工智能”在公共討論中的地位，仿佛通用智能是自然演化的必然結果，而非一個具體且存在爭議的概念。“超級智能”——或者這個概念最終采用的任何其他術語似乎自然而然地成為這架階梯上的下一步。請注意，“對齊”，即確保人工智能系統做人類想要的事情是如何成為AI安全領域核心問題的，它假設了超人智能的存在，并將它帶來的挑戰視為技術問題而非政治問題。

再考慮“算力”這一原本指代計算資源的詞，是如何在當下成為一種像石油或谷物一樣，可以被囤積和控制的可量化的資源。這種語義轉變很重要，因為語言塑造可能性。當我們接受AGI是不可避免的，我們就不再追問是否應該去建造它，而在這種喧囂中，我們卻忽略了我們不經意間已經默認了由一小群技術專家來決定我們的未來。

當我們同時將算力視為一種戰略資源時，我們進一步將權力集中于那些掌控數據中心的人手中，而這些人，正如奧特曼被罷免事件所展示的那樣，這又將更多的權力賦予這一小撮人。

本應抵制這種邏輯的學術機構，已被征召進這場必然性的制造中。渴望產業資金和相關性的大學，紛紛設立AI安全中心和存在性風險項目。這些機構表面上獨立，卻最終強化了產業敘事，它們撰寫關于AGI時間線和對齊策略的論文，為科幻小說賦予學術權威。年輕的研究人員看到資金和聲望集中在超級智能問題上，便將職業方向轉向超級智能相關議題，而非當下人工智能的危害。

國際競爭進一步強化了超級人工智能必然出現的敘事。美國和中國之間的“人工智能軍備競賽”被描述為存在主義層面的較量：誰率先構建出AGI，誰就將獲得永久的地緣政治主導權。這種新冷戰的修辭方式排除了合作、監管或克制的可能性，讓沖向危險技術的競賽看起來像是愛國主義，而非魯莽舉動。國家安全再次成為壓制民主討論的王牌。

這一預言通過資源集中實現了自我應驗——隨著資源不斷流向AGI研究，其他AI研究方式逐漸被邊緣化。原本可能從事可解釋AI或用于研究AI向善的科研人員，轉而加入專注于增加大語言模型規模的實驗室。未來變得狹窄，并非由于預言本身準確，而是因為預言號令了資源的分配。

從財務角度來看，這是一種“正面我贏，反面你輸”的安排：如果承諾的突破得以實現，私營公司及其投資者將獲得全部收益；但如果進展停滯或未能達到預期，耗能巨大的數據中心和重新調整的產業政策所產生的沉沒成本，則由公共資產負債表買單。整個宏觀經濟正被綁定在一個超級人工智能必然出現，這一我們尚未完全理解其基本物理規律的故事上。

我們必須認識到這一過程是政治性的，而非技術性的。超級智能必然發生的敘事，是通過對特定的資金、注意力和合法性進行選擇而制造出來的，不同的選擇將導致不同的未來。根本性的問題不在于超級智能是否會到來，而在于誰從讓我們相信它會必然到來中獲益。

?Wenyi Geng

超級智能敘事之外被遺棄的現在

當我們沉迷于假設的機器神明之時，現實中的AI系統正在以深刻且常常有害的方式重塑人類生活。關于超級智能的討論不僅轉移了人們對這些直接影響的注意力；甚至可以說，它為這些影響提供了合法性。畢竟，如果我們正在競相奔向AGI以拯救人類，那么過程中的些許附帶損害又算得了什么？

以勞動為例，這一人類創造與再生產世界的根本活動。AI系統已經通過算法管理控制了數百萬工人的日與夜。在亞馬遜倉庫中，工人的行動由手持設備決定，這些設備計算最優路徑，監控休息時間，并自動解雇那些跟不上節奏的工人。雖然關于自動化的文化討論常常強調它在取代人類勞動這一點上的威脅，但對許多人來說，殘酷的現實是自動化已經讓許多工人已成為算法的附屬品，執行機器尚無法完成的任務，同時被計算系統衡量和監控。

弗雷德里克·泰勒是19世紀的美國機械工程師，也是《科學管理原理》的作者，他因通過嚴格控制勞動來實現最大效率而聞名。如今，我們所處的是一種以技術為中介的泰勒主義，工作被分解為微小的、經過優化的動作，每一個動作都被監控和計時，唯一的區別在于，管理的鞭子從秒表變成了代碼。泰勒的邏輯已經被以遠超他本人想象的方式實踐和應用。但當我們討論人工智能與工作時，話題總會瞬間跳躍到“AGI是否會消滅所有工作”，仿佛當下那些被算法驅使的工人的苦難，僅僅是通往廢棄途中的一個中轉站。

內容審核產業是這個“被遺棄的現在”的縮影。數以十萬計的工人，主要來自全球南方國家，每天查看人類所制造的最惡劣內容——包括兒童虐待和性暴力，以訓練人工智能系統識別和過濾此類材料。這些拿著硅谷同行零頭薪水的工人，承受著有據可查的心理創傷。他們是“人工智能安全”的幕后勞動大軍，在保護用戶免受傷害的同時，自身卻遍體鱗傷。然而，他們的痛苦很少出現在人工智能倫理的討論中，因為那里的討論總是圍繞著如何防止超級智能在未來可能帶來的假設性危害。

監控代表了另一個被未來主義猜想所掩蓋的現實。人工智能系統能對人類行為以前所未有地精確度進行追蹤。人臉識別技術可以識別抗議者和異見人士。預測性警務算法將執法資源引導至與種族人口統計數據神秘相關的一些“高風險”社區。邊境控制機構利用人工智能通過語音分析和微表情來評估尋求庇護者的可信度。社會信用系統則通過分析個人的數字足跡，用算法對公民的可信度進行評分。

這些并非是想象中的技術；它們已經是實際部署的系統，它們不需要通用人工智能，只需要大規模的模式匹配。但在超級智能的話語體系中，監控被處理為一種未來的風險（萬一AGI監控所有人呢？）而非當前的現實。這種時間錯位有利于當權者，因為討論假設性的全景監獄，比拆除現有的監控系統更容易。

算法偏見已滲透到關鍵的社會基礎設施中，通過賦予人類偏見以數學權威，放大并合理化了現有的不平等。人工智能行業的回應是技術官僚式的：我們需要更好的數據集、更多樣化的團隊和算法審核，這是用技術手段解決政治問題。與此同時，這些公司正爭先恐后地構建AGI，卻大規模部署帶有偏見的系統，將當前的傷害視為通向超越之路上的可接受代價。暴力是真實的，但解決方案卻始終被無限期地推遲。

而在這一切之下，隨著我們持續訓練大語言模型，環境破壞正加速進行。大語言模型的訓練消耗了海量能源。當被質問這種生態代價時，人工智能公司便拋出假設性的紅利：例如AGI將解決氣候變化或優化能源系統。他們用未來為現在開脫，仿佛這些投機性的收益應該超過當前實際發生的損害。這種時間上的把戲，以拯救世界之名行毀滅世界之實，如果不是后果是如此慘烈，倒也像是一出喜劇。

正如它侵蝕環境一樣，人工智能也在侵蝕民主。推薦算法早已通過制造過濾氣泡和放大極端主義重塑了政治話語，但最近，生成式人工智能則向信息空間中傾瀉了海量的內容，使得人們難以區分真相與虛假信息。公共領域是民主生活的基礎，它依賴于人們有共享足夠的信息以便進行公共討論。

當人工智能系統將公民細分到越來越狹窄的信息流時，這個共享空間就崩塌了。我們不再爭論相同的事實，因為我們不再身處同一個世界。然而，我們關于治理的討論卻聚焦于“如何防止AGI在未來摧毀民主”，而非解決“當前的 AI系統如何正在瓦解民主”。我們爭論人工智能對齊問題，卻忽視了在關鍵問題上，在人類之間需開展的對齊，例如人工智能系統是否應該服務于民主價值，而不是企業利潤。設想中的超級智能專制掩蓋了現實中的監控資本主義專制。

隨著人類適應算法做出的判斷，人工智能對心理健康造成的影響逐漸累積。為最大化參與度而優化的社交媒體算法，推流著引發焦慮、抑郁和飲食障礙的內容。年輕人將算法定義的指標，例如點贊、分享和觀看次數內化為衡量自我價值的標準。通過人工智能系統對社會生活的量化，產生了新的異化和痛苦形式，但這些即時的心理危害與人們想象中的存在性風險相比微不足道，而后者卻獲得了遠多于預防假設的超級智能災難所應投入的關注和資源。

這些當前的危害都可以通過集體行動來應對。我們可以規范算法管理，支持內容審核員，限制監控，審查偏見，控制能源使用，保護民主并優先考慮心理健康。這些并非需要超級智能才能解決的技術難題，而是需要民主介入的、老派的政治挑戰。然而，超級智能的討論卻讓這些平凡的干預措施顯得幾乎過時。當工作本身可能很快就會消失，為什么我們還要重新組織工作場所？當AGI可能已經能監控我們的思想，我們為什么還要對監控加以監管？當超級智能可能完全超越人類的偏見，我們為什么還要處理當下的偏見？

這個被遺棄的當下，充滿了可以通過人類選擇而非機器超越來緩解的痛苦，而我們每花一分鐘討論尚未存在的AGI對齊問題，就等于少花一分鐘去應對此刻正傷害著數百萬人的算法暴行。未來導向的超級人工智能敘事不僅僅是干擾，而是一種遺棄，是一種故意的背過身去，逃避當下的責任，以此換取臆想中的赦免。

人工智能時代的替代想象

超級智能敘事的主導地位掩蓋了一個事實：AI 的道路不止一條。存在著許多基于當下社會需求、而非膜拜假設中機器神明的替代路徑。這些替代方案表明，你不必非得加入那場通往超級智能的亡命賽跑，也不必徹底背棄技術。此時此刻，我們完全可以以不同的方式構建和治理自動化。

全球各地，社區已經開始嘗試不同的數據組織和自動化方式。例如，原生數據主權運動（Indigenous Data Sovereignty）已經發展出治理框架、數據平臺和研究協議，將數據視為一種需要集體同意的公有資源。加拿大首個信息治理中心（First Nations Information Governance Centre）和新西蘭的Te Mana Raraunga等組織堅持認為，數據項目（包括那些涉及AI的項目）必須對其關系、歷史和義務負責，而不僅僅是對優化指標和規模擴張負責。他們的項目提供了自動系統的設計實例，這些系統旨在尊重文化價值并加強地方自主性，這與有效利他主義的沖動形成鏡像，不會為了假設的未來人群而抽象地脫離具體地點。

工人也在嘗試不同的安排，工會和勞工組織正在就算法管理協商條款，爭取對工作場所系統的審計權，并開始建立由工人控制的數據信托，以管理他們的信息如何被使用。這些舉措源于實際生活經驗，而非哲學推測，它們來自那些每天都在算法監控之下生活的人們，他們決心重新設計管理他們生存的系統。而當科技高管因對AGI的推測而受到贊譽時，那些分析已有系統的人們卻容易被輕易地視為盧德主義者。

類似的實驗也出現在以女性主義和殘障為中心的技術項目中，這些項目圍繞關懷、可及性和認知多樣性構建工具；還出現在全球南方的倡議中，這些倡議使用適度、由本地社區管理的AI系統，在資源有限的情況下支持醫療、農業或教育。不關注增長的技術專家正在設計低功耗、社區托管的模型和數據中心，旨在嵌入生態極限之中，而非試圖凌駕其上。這些案例表明，批判與行動主義完全可以轉化為具體的基礎設施和制度安排，證明了AI的組織方式不必默認那個“為了少數科技兄弟眼中的大善而犧牲所有人”的超級智能范式。

這些多樣化的想象——原生數據治理、工人主導的數據信托以及為全球南方設計的AI項目，其共同點在于對“智能”本身的另一種理解。他們并不將智能視為一種抽象的、脫離身體的、能夠優化所有領域的能力，而是將其視為一種與特定情境緊密關聯的、具有關系性和具身性的能力。他們關注的是真實存在的社區及其現實需求，而非假設的人類面對假設的機器。正因如此，它們與在超級智能的宏大敘事相對比時顯得謙遜，畢竟，存在性風險讓所有其他擔憂都顯得微不足道。你幾乎能聽到那些反駁：當工作本身都快消失了，談論工人權利有何意義？當AGI被設想為能夠按需解決氣候變化問題時，為何還要考慮環境限制？

這些替代方案也揭示了超級智能敘事中的民主缺失。將人工智能同時包裝為普通人無法理解的神秘技術問題，以及不可置疑的社會進步引擎，使得權力得以在系統擁有者和構建者手中高度集中。一旦算法參與到溝通、就業、福利、執法和公共討論，它們就成為政治機構。這種權力結構是封建式的，一小撮企業精英憑借“特殊知識”和“末日緊迫感”壟斷決策權，而公民和納稅人則被告知他們無法理解這些技術復雜性，且任何減速都是在全球競賽中的不負責任。其結果是習得性無助，一種認為技術未來無法通過民主方式塑造，只能被托付給那些“遠見卓識”的工程師的宿命感。

一種民主的方法會顛倒這種邏輯，認識到關于監控、工作自動化、公共服務，甚至對超級智能的追求等問題，并不是工程難題，而是價值選擇。公民不需要理解反向傳播算法，就可以討論預測性警務是否應該存在，正如他們不需要理解熱力學，就可以辯論交通政策。民主，要求我們要有權塑造集體生活的條件，其中必然包括人工智能的架構。

這可以有多種形式。工人可以參與關于算法管理的決策。社區可以根據自身優先事項管理本地數據。關鍵的計算資源可以由公共或合作方式擁有，而不是集中在少數公司手中。市民大會可以被賦予實際的決策權，決定一個城市是否推進有爭議的AI應用，例如人臉識別和預測性警務。開發者可以在預防性框架下被要求在部署前證明其安全性。國際協議可以對AI研究中最危險的領域設定限制。所有這些都不是在討論AGI或其他可以想象的超級智能是否會或不會出現；它只關乎一個認知：技術權力的分配是一種政治選擇，而非不可避免的宿命。

超級智能的敘事通過將集中權力描繪為悲劇性的必然，削弱了這些民主實踐的可能性。如果人類滅絕近在咫尺，公眾商議便成了我們負擔不起的奢侈品。如果AGI是不可避免的，那么治理權就必須讓渡給那些正在競相構建它的群體。這種敘事制造緊迫感，以合理化對民主的侵蝕。于是，最初關于假設性機器的故事，最終卻演變為關于現實政治權力喪失的故事。歸根結底，更大的風險在于，當我們忙著辯論虛構的未來心智如何對齊時，我們卻忽視了現有制度的對齊問題。

事實是，除了技術變革本身是必然的之外，關于我們技術未來的任何事情都不是必然的。變化是確定的，但其方向卻未必。我們尚未理解自己正在構建什么樣的系統，或者它們將產生怎樣的，突破與失敗相互交織的未來。這種不確定性使得將公共資源和注意力孤注一擲于單一的推測性路徑，顯得尤為魯莽。

每一個算法都蘊含著關于價值和受益者的選擇。超級智能的敘事試圖用宿命的薄紗掩蓋這些抉擇，但替代性的想象——原生治理、工人主導的設計、女性主義與殘障正義、基于公共領域的AI模式以及生態約束卻提醒我們，其他路徑是可能的，并且已經在構建之中。

真正的政治問題，不是某種人工超級智能是否會涌現，而是誰有權決定我們構建和維持何種智能？答案不能留給那些宣揚“人工超越，世界滅亡”的企業先知，因為AI的未來是一個政治場域，它應該開放給各種觀點加以爭論。它不屬于那些以最大聲警告神明或怪物的人，而應屬于那些擁有道德權利，能夠通過民主治理塑造他們生活的技術的公眾。

譯者的話

在最近一年中，你有多少次聽到超級智能，對齊的討論，在你看到那些大佬們預測2027年即將降臨的超級智能時，是否忘記了一個基本事實：我們至今仍不知道如何制造一個超級智能，一切關于它的討論，本質上都是建立在沙堆之上的假設。

這篇長文揭示了一種人類歷史中少見的現象。當賣傘的人擁有了人工降雨的能力，我們是否應當對他們兜售雨傘的動機保持警惕？工業革命時，工廠主不會說會有一種將要取代一切勞動力的機器，以此勸誘工人“現在苦一苦，好日子就在后頭”。正是由于缺少對烏托邦未來的想象，工人們才為了自己的權益爭取，才有了如今的五一勞動節。

晚期資本主義的可怕，在于其對思想的隱性控制是潛移默化的，是通過議題設置，偷換概念等手段完成的。當OpenAI不再開源，當科技巨頭為了曝光，而發布的關于超級智能，AI安全等研究時，我們不應當遺忘那些持續承諾開源的中國企業，那些關注AI在具體場景中應用的小微甚至個人開發者。

當西方主流敘事將超級智能描繪成《指環王》中的至尊魔戒，能夠掌管一切時，我們不應當無條件的遵循，而應替人類去探索另一條基于本體，立足場景的全新AI應用之路。謹以此作為翻譯這篇長文的初心與愿景。

https://www.noemamag.com/the-politics-of-superintelligence/

關于追問nextquestion

天橋腦科學研究院旗下科學媒體，旨在以科學追問為紐帶，深入探究人工智能與人類智能相互融合與促進，不斷探索科學的邊界。歡迎評論區留言，或后臺留言“社群”即可加入社群與我們互動。您也可以在后臺提問，我們將基于追問知識庫為你做出智能回復哦~

關于天橋腦科學研究院

天橋腦科學研究院（Tianqiao and Chrissy Chen Institute）是由陳天橋、雒芊芊夫婦出資10億美元創建的世界最大私人腦科學研究機構之一，圍繞全球化、跨學科和青年科學家三大重點，支持腦科學研究，造福人類。

Chen Institute與華山醫院、上海市精神衛生中心設立了應用神經技術前沿實驗室、人工智能與精神健康前沿實驗室；與加州理工學院合作成立了加州理工天橋神經科學研究院。

Chen Institute建成了支持腦科學和人工智能領域研究的生態系統，項目遍布歐美、亞洲和大洋洲，包括、、、科研型臨床醫生獎勵計劃、、、科普視頻媒體「大圓鏡」等。