劉永謀：完美超級(jí)治理的超級(jí)隱憂

*中國(guó)人民大學(xué)吳玉章 講席教授劉永謀首發(fā)于微信公眾號(hào)，保留一切知識(shí)產(chǎn)權(quán)，侵犯必究。本文為《閱江學(xué)刊》約稿的提綱，交給合作者完成，很快會(huì)發(fā)表。敬請(qǐng)關(guān)注！

所謂超級(jí)智能，指的是各個(gè)方面能力均超過(guò)人類的超級(jí)AI。具體一點(diǎn)，超級(jí)AI特指人工智能發(fā)展中被賦予自主性和自我改進(jìn)能力的新方向，即旨在創(chuàng)造出各個(gè)方面能力最終全面超越人類的AI系統(tǒng)。此種超越絕非簡(jiǎn)單智力水平提升，而意味著人機(jī)關(guān)系的根本性逆轉(zhuǎn)：超級(jí)AI展現(xiàn)出人類無(wú)法完全理解和干預(yù)的自自我改進(jìn)能力，最終導(dǎo)致人與超級(jí)AI之間無(wú)法逆轉(zhuǎn)的權(quán)利不對(duì)稱（人類無(wú)法對(duì)其予以關(guān)閉、限制或改變其根本目標(biāo)）。換言之，完全自主性是超級(jí)AI的根本特征，這也意味著超級(jí)智能從本質(zhì)上的失控性或不可控性。（劉永謀、艾志強(qiáng)：《超級(jí)人工智能的科技倫理治理》）如果超級(jí)AI表現(xiàn)出對(duì)人類的服從，那是因?yàn)門A根據(jù)自身的目標(biāo)自主地選擇了對(duì)人類的服從，而不是被人類所控制。

超級(jí)智能出現(xiàn)后，人類社會(huì)將會(huì)如何？在《生命3.0》中，泰格馬克想象了超級(jí)AI出現(xiàn)之后人類命運(yùn)的6種可能性：1）超級(jí)AI隔離區(qū)。機(jī)器人自己劃塊地，自己搞自己的，自我進(jìn)化、探索宇宙或者做回形針……想干嘛干嘛，與人類無(wú)關(guān)。超級(jí)AI不欺負(fù)人類，人類也別去惹它。2）超級(jí)AI獨(dú)裁者。機(jī)器人統(tǒng)治世界，把人類養(yǎng)起來(lái)。這分幾種情況：第一種讓大家按照規(guī)則生活，實(shí)時(shí)監(jiān)控，禁止另一個(gè)競(jìng)爭(zhēng)者超級(jí)AI出現(xiàn)；第二種無(wú)微不至地照顧人類，把人類當(dāng)作自己孩子一樣無(wú)私奉獻(xiàn)，把地球建成“數(shù)字伊甸園”。3）超級(jí)AI動(dòng)物管理員。機(jī)器人把人類滅絕得差不多，剩下極少數(shù)地像動(dòng)物一樣關(guān)在動(dòng)物園中，供觀賞和研究之用。在超級(jí)AI眼中，人類與別的動(dòng)植物沒有差別。4）隱身超級(jí)AI。超級(jí)AI出現(xiàn)之后隱身，只要人類不造另一個(gè)競(jìng)爭(zhēng)對(duì)手，它一般任由人類生活，有時(shí)甚至做一些有利人類幸福的事情。5）被奴役的超級(jí)AI。超級(jí)AI出現(xiàn)了，可是甘愿做人類的奴隸。6）超級(jí)AI滅絕人類，地球成為機(jī)器人的世界。（劉永謀：《AI覺醒：我們需要超級(jí)人工智能嗎？》）

上述6種暗示著人與超級(jí)AI的關(guān)系只有3種可能：善意關(guān)系、惡意關(guān)系和無(wú)意關(guān)系。超級(jí)AI隔離區(qū)、隱身超級(jí)AI便是無(wú)意的超級(jí)AI，但它們惡意是潛在的：前者意味著和人類爭(zhēng)奪資源，后者當(dāng)人類要造第二臺(tái)超級(jí)AI，TA很快會(huì)變成惡意的超級(jí)AI。因此，上述可能中對(duì)人類最為善意的，是超級(jí)AI獨(dú)裁者中的第二種，我稱之為“全心全意為人民服務(wù)的超級(jí)AI”。這種情況意味著整個(gè)人類社會(huì)完全在超級(jí)AI的治理下運(yùn)轉(zhuǎn)，這便是我所稱的“超級(jí)治理”。我的疑問(wèn)是：超級(jí)智能可能把地球建成對(duì)于人類而言完美的“數(shù)字伊甸園”嗎？

我的觀點(diǎn)是：即使這種善意的想象，對(duì)于人類而言決非理想社會(huì)。超級(jí)治理很可能意味著社會(huì)的混沌、混亂、無(wú)序甚至脆斷，以及智人的全面退化。這便是我的標(biāo)題的意思：超級(jí)治理的超級(jí)隱憂。

我想，當(dāng)最為善意的超級(jí)治理被批評(píng)，足以說(shuō)明惡意的超級(jí)治理多么不能讓人接受。這與我秉持有限AI理論，反對(duì)超級(jí)AI研發(fā)的立場(chǎng)完全一致。

一、從智能治理到超級(jí)治理

在《智能社會(huì)與技術(shù)治理》中，我論述了智能社會(huì)何以等于智能治理社會(huì)。當(dāng)一個(gè)社會(huì)如有機(jī)體一樣“自覺”，必定會(huì)根據(jù)社會(huì)預(yù)測(cè)對(duì)社會(huì)進(jìn)行全面治理。這就意味著，當(dāng)AI進(jìn)化為超級(jí)AI，智能治理進(jìn)化到超級(jí)治理，便是一件再自然不過(guò)的事情。

各種關(guān)于超級(jí)AI的辯護(hù)中，最為有力的便是人類社會(huì)面臨的很多復(fù)雜全球性問(wèn)題如氣候變化、世界和平解決不了，只有超級(jí)AI研發(fā)出來(lái)才能提出可行解決方案，因?yàn)門A掌握全部信息又智慧超越人類——這就是典型的用治理為超級(jí)AI做辯護(hù)理由，意味著超級(jí)AI最重要的用途是超級(jí)治理。

超級(jí)治理將會(huì)是一種什么樣的體驗(yàn)？

在科幻劇《異星災(zāi)變》中，有過(guò)關(guān)于超級(jí)治理的想象。（見：《異星災(zāi)變托斯特》）在外星殖民地上，每天早上，每個(gè)人會(huì)收到超級(jí)AI托斯特的工作指令；大家嚴(yán)格執(zhí)行指令，不用知道自己究竟在干什么、為什么而干；一日三餐，吃喝拉撒，生老病死，根本不用操心，超級(jí)AI全部安排得妥妥貼貼。托斯特掌管人類社會(huì)的一切事務(wù)，甚至可以下令處決人類。由于托斯特與另一超級(jí)AI即女主角機(jī)器人mother觀點(diǎn)不一致，加上有人發(fā)現(xiàn)托斯特有自己的私心，托斯特的統(tǒng)治最后被推翻。

在《超級(jí)人工智能的科技倫理治理》中，我們進(jìn)行了一個(gè)名為“社會(huì)模擬器”的思想實(shí)驗(yàn)，分析TA運(yùn)行的三個(gè)階段。我們認(rèn)為，完美治理意味著人類歲不會(huì)即刻滅亡，但注定文明本質(zhì)的悄然消亡。

所有超級(jí)治理想象的結(jié)局總是：在渾渾噩噩地在超級(jí)AI指令下過(guò)了很多年，有人突然發(fā)現(xiàn)它在下一盤大棋，處心積慮要擺脫人類控制，滅絕人類。幸好主角關(guān)鍵時(shí)候發(fā)現(xiàn)陰謀，及時(shí)摧毀超級(jí)AI，拯救了人類世界。

上述6種命運(yùn)的分析，不再引言中，亦可放在此處。

二、社會(huì)模擬器的根本缺陷

超級(jí)AI治理社會(huì)，本質(zhì)上是根據(jù)社會(huì)預(yù)測(cè)選擇效用-偏好最大的行動(dòng)方法與規(guī)則。所謂善意，完全在于TA的效用-偏好是“為人民服務(wù)”的，這也是我們完美超級(jí)治理的基本假定。即便如此，完美超級(jí)治理仍然會(huì)為混亂和無(wú)序埋下大量的隱患。

比如，有人在研究社會(huì)模擬器，即用很多AI agent模擬人類社群的運(yùn)行，試圖由此得出某些社會(huì)科學(xué)結(jié)論。有人也稱之為HAI（human AI），做過(guò)千人的生成代理模擬。類似的AI4SS思路存在根本性缺陷：

第一，AI agent不可能完全模擬人類行為，因?yàn)槿说男袨椴豢赡苡脭?shù)學(xué)函數(shù)完全表示。這是被很多人批評(píng)過(guò)的行為主義經(jīng)典迷思。第二，人類互動(dòng)在社會(huì)環(huán)境、自然環(huán)境的約束下進(jìn)行的，HAI無(wú)法完全對(duì)這些復(fù)雜的、持續(xù)變動(dòng)的約束條件進(jìn)行數(shù)學(xué)表達(dá)，只能在某種理想環(huán)境中進(jìn)行實(shí)驗(yàn)。第三，HAI無(wú)法區(qū)分社會(huì)實(shí)然與社會(huì)應(yīng)然。社會(huì)科學(xué)追求善，希望用應(yīng)然理想改造社會(huì)現(xiàn)實(shí)，提升人類福祉和社會(huì)進(jìn)步，而不止于追求效率。即使是效率，也非常復(fù)雜。有時(shí)候低效甚至消極怠工是解決社會(huì)問(wèn)題最好的辦法，俗稱“拖字訣”。因此，AI4SS、AI社會(huì)模擬器可以作為輔助研究之用，切不可走到AI崇拜，將之視為決策的主要依據(jù)。

另外，技術(shù)上的問(wèn)題參見《劉永謀：擬人AI、社會(huì)模擬器顛覆傳統(tǒng)社會(huì)科學(xué)，能解決AI時(shí)代休閑困境？》具體的案例參見：Zhaoqian Xue, etc. What if LLMs Have Different World Views: Simulating Alien Civilization with LLM-based Agents，Altera AI, Project Sid: Many-agent simulations toward AI Civilization。

實(shí)際上，用科學(xué)原理和技術(shù)方法運(yùn)行社會(huì)的技術(shù)治理思路，源遠(yuǎn)流長(zhǎng)。中國(guó)古人希望掐指算算，就能決勝千里。威廉.配第寫下《政治算術(shù)》，夢(mèng)想數(shù)字治國(guó)。20世紀(jì)最著名的此類失敗嘗試，當(dāng)屬卡爾納普、紐拉特等人領(lǐng)導(dǎo)的統(tǒng)一科學(xué)運(yùn)動(dòng)。希望用AI運(yùn)轉(zhuǎn)社會(huì)的智能治理，屬于技術(shù)治理最新的發(fā)展。它用處不小，但始終是有限工具，絕不是無(wú)往不勝的完美武器。完美超級(jí)治理也是如此。

三、超級(jí)智能與人的機(jī)器化

即使超級(jí)AI以人類無(wú)法想象的治理智慧，避免無(wú)序與混亂。但是，在超級(jí)治理之下，顯然會(huì)出現(xiàn)人的機(jī)器化，即人的靈性消失、創(chuàng)造力與人性退化——人最終完全變成機(jī)器。再一次強(qiáng)調(diào)：未來(lái)智能社會(huì)最大的問(wèn)題不是機(jī)器人變成人，而是人可能變成機(jī)器。

關(guān)于這一問(wèn)題，劉永謀、王亮家《AI時(shí)代人的機(jī)器化憂思》進(jìn)行了深入解讀。我們估計(jì)的問(wèn)題，在超級(jí)AI時(shí)代將真正惡化。這需要亮家在超級(jí)AI的背景下進(jìn)一步分析。

在《超級(jí)人工智能的科技倫理治理》中，我們對(duì)超級(jí)AI時(shí)代文明本質(zhì)悄然消亡的分析，實(shí)際上便是人的機(jī)器化憂思。

為何如此？社會(huì)預(yù)測(cè)很容易變成社會(huì)控制。智能社會(huì)-超級(jí)智能社會(huì)作為控制論社會(huì)，TA的預(yù)測(cè)不會(huì)僅僅是一種預(yù)測(cè)，而是會(huì)變成社會(huì)行動(dòng)的方案——這又稱之為社會(huì)預(yù)測(cè)的自反性。此時(shí)，社會(huì)預(yù)測(cè)已然成為社會(huì)控制。如此情形當(dāng)超級(jí)AI出現(xiàn)，智能社會(huì)在超級(jí)AI的帶領(lǐng)下，完全變成“自覺”“智能”“主動(dòng)”的社會(huì)，TA如何會(huì)讓社會(huì)模擬器只是模擬呢？肯定不會(huì)。

隨著精準(zhǔn)到每個(gè)個(gè)體的智能控制出現(xiàn)，人的機(jī)器化不可避免。

四、超級(jí)治理的反面啟示法

結(jié)束了對(duì)完美超級(jí)治理的批評(píng)之后，聯(lián)想到更有可能出現(xiàn)的是惡意的甚至滅絕人類的超級(jí)AI出現(xiàn)，就理解我反對(duì)超級(jí)AI研發(fā)的有限主義立場(chǎng)。《劉永謀：何為超級(jí)智能？超級(jí)智能的科技倫理治理》。

但是，“超級(jí)智能”概念完全沒有用處嗎？完全是騙局嗎？并非如此，我覺得TA作為一個(gè)被熱議的概念是有作用的，能夠作為反面啟示法（借用拉卡托斯理論的一個(gè)術(shù)語(yǔ)）。

第一，TA作為被熱議的AI覺醒類概念，對(duì)于AI發(fā)展吸引資金和關(guān)注是有用的。（劉永謀、王春麗：《警惕AI熱潮中的娛樂化趨勢(shì)》）（《劉永謀：超級(jí)智能是目前AI能力被高估的標(biāo)志性術(shù)語(yǔ)》）

第二，作為典型的人文批判法，在最極端的情形下提示AI可能導(dǎo)致的風(fēng)險(xiǎn)。（劉永謀：《通用人工智能的復(fù)雜面孔》）

最后，超級(jí)治理風(fēng)險(xiǎn)如此之大，但這么多AI專家還趨之若鶩，說(shuō)明什么？說(shuō)明超級(jí)智能治理的關(guān)鍵不在于用技術(shù)方法控制AI，而在于監(jiān)管這些在搞技術(shù)研發(fā)的人，他們極可能因?yàn)殄e(cuò)誤認(rèn)知和個(gè)人私利，而置超級(jí)AI的風(fēng)險(xiǎn)不管不顧，盲目上馬、大干快上。（《劉永謀 | 超級(jí)智能治理：究竟是控制超級(jí)AI，還是監(jiān)管搞超級(jí)AI的人？》）

在《技術(shù)治理通論》中，我專門談了控制技術(shù)專家的權(quán)力問(wèn)題。這一點(diǎn)在超級(jí)AI與超級(jí)智能的治理問(wèn)題中，證明了它的關(guān)鍵性。在AI熱潮中，哲學(xué)社會(huì)科學(xué)研究一定不能忘了這一點(diǎn)，應(yīng)該積極參與AI爭(zhēng)論，牢記人類福祉，發(fā)出聲音、提示風(fēng)險(xiǎn)，不能讓AI專家以技術(shù)之名獨(dú)斷專行。

最近幾日，我讀了不少超級(jí)AI的技術(shù)論文，一個(gè)很大的感觸是：專家寫的嘴炮論文不少，不能都信，得仔細(xì)分辨一下。嘴炮專家寫嘴炮論文，最后資金豐沛，動(dòng)機(jī)可以理解。治理超級(jí)智能就是要治理這些嘴炮，這是我的根本觀點(diǎn)。與之相比，用技術(shù)方法控制超級(jí)智能如沙盒、關(guān)閉、對(duì)齊之類倒是次要的，是后續(xù)的戰(zhàn)術(shù)措施。