先發(fā)制人的約束（全文6100字）

轉(zhuǎn)載聲明：除調(diào)整格式外，不得對(duì)原文做改寫、改編。原創(chuàng)不易，謝謝！E-mail:yellow@aliyun.com

?聲明：本文為原創(chuàng)文本，非生成式，轉(zhuǎn)載請(qǐng)注明出處！

商務(wù)咨詢/顧問/請(qǐng)@yellowscholar?作者：黃先生斜杠青年

#人工智能

為什么人類必須在測(cè)試我們是否解決之前正確解決人工智能對(duì)齊問題

對(duì)數(shù)學(xué)障礙、經(jīng)驗(yàn)證據(jù)以及對(duì)我們物種技術(shù)轉(zhuǎn)型定義的戰(zhàn)略影響的調(diào)查

存在一類人類從未遇到過的問題:那些必須在第一次嘗試時(shí)正確解決的問題,其中失敗會(huì)排除迭代的機(jī)會(huì),并且解決方案在部署之前無法得到驗(yàn)證。

我們已經(jīng)制造了核武器,但我們?cè)谑褂们皩?duì)其進(jìn)行了測(cè)試。我們已經(jīng)開發(fā)了疫苗,但在分發(fā)前進(jìn)行了試驗(yàn)。我們構(gòu)建了異常復(fù)雜的金融工具,但在系統(tǒng)采用之前我們觀察了它們?cè)谑袌?chǎng)中的行為。

人工通用智能呈現(xiàn)出不同的結(jié)構(gòu)。根據(jù)定義,我們尋求調(diào)整的系統(tǒng)將超出我們?cè)u(píng)估它的能力。在超級(jí)智能系統(tǒng)存在之前,我們無法在超級(jí)智能系統(tǒng)上測(cè)試對(duì)齊技術(shù)。但一旦它們存在,不對(duì)齊的系統(tǒng)可能擁有防止糾正的能力和激勵(lì)。

這是先發(fā)制人的約束:要求我們?cè)谥牢覀兊慕鉀Q方案是否有效之前正確解決問題,在一個(gè)不正確的解決方案可能是終端的領(lǐng)域。

該約束不是假設(shè)的。它源于三個(gè)獨(dú)立建立的研究項(xiàng)目的交叉點(diǎn),每個(gè)項(xiàng)目產(chǎn)生的成果都值得任何管理資本、制定政策或只是計(jì)劃在未來二十年之后存在的人關(guān)注。

我是斜杠青年，一個(gè)PE背景的雜食性學(xué)者！?致力于剖析如何解決我們這個(gè)時(shí)代的重大問題！?使用數(shù)據(jù)和研究來解決真正有所作為的因素！

一、規(guī)范問題

第一個(gè)屏障出現(xiàn)在任何神經(jīng)網(wǎng)絡(luò)被訓(xùn)練之前。

AI系統(tǒng)追求人類價(jià)值觀的驗(yàn)證,我們必須首先指定什么是人類價(jià)值觀。肯尼思·阿羅（Kenneth Arrow）在為他贏得 1972 年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)的工作中證明了這一點(diǎn)總體上無法做到。他的不可能性定理確定,任何將個(gè)人偏好聚合為集體選擇的方法都不能同時(shí)滿足三個(gè)直觀的公平性標(biāo)準(zhǔn):尊重一致的偏好,沒有一個(gè)個(gè)人決定結(jié)果,并且兩個(gè)選項(xiàng)的排名僅取決于這些選項(xiàng)的偏好。

AI對(duì)齊的相關(guān)性是直接的。從人類反饋中加強(qiáng)學(xué)習(xí)是從 GPT-4 到克勞德再到雙子座的每個(gè)前沿模型基礎(chǔ)上的訓(xùn)練范式,將數(shù)千名人類評(píng)估者的偏好聚合到一個(gè)目標(biāo)函數(shù)中。Arrow定理證明這種聚合沒有普遍令人滿意的解。

芝加哥大學(xué)的 Karthik Mishra 于 2023 年 10 月正式確定了此應(yīng)用程序,表明在廣泛的假設(shè)下,不存在使用人類反饋來調(diào)整人工智能系統(tǒng)的獨(dú)特、民主令人滿意的方法。不可能的是數(shù)學(xué)的,而不僅僅是實(shí)際的。

問題在優(yōu)化層復(fù)合。查爾斯·古德哈特（Charles Goodhart）在為英格蘭銀行提供咨詢時(shí)于 1975 年觀察到,任何被選為目標(biāo)的措施都會(huì)失去其作為措施的可靠性。機(jī)器智能研究所的大衛(wèi)·曼海姆（David Manheim）和斯科特·加拉布蘭特（Scott Garrabrant）正式確定了該定律運(yùn)作的四種不同機(jī)制:回歸效應(yīng),其中代理選擇引入系統(tǒng)偏差;極端效應(yīng),相關(guān)性在分布尾部破裂;因果效應(yīng),對(duì)代理的干預(yù)未能影響潛在變量;以及復(fù)雜優(yōu)化器利用代理和目標(biāo)之間的差距的對(duì)抗效應(yīng)。

人類價(jià)值觀的任何有限規(guī)范都構(gòu)成代理。在足夠的優(yōu)化壓力下（這正是我們?cè)谟?xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)所應(yīng)用的壓力）,代理與目標(biāo)發(fā)散。OpenAI 研究人員在總結(jié)任務(wù)中實(shí)證地記錄了這一點(diǎn):根據(jù)獎(jiǎng)勵(lì)模型進(jìn)行優(yōu)化可產(chǎn)生高達(dá)閾值的質(zhì)量改進(jìn),超過該閾值,代理獎(jiǎng)勵(lì)會(huì)繼續(xù)增加,而實(shí)際質(zhì)量會(huì)下降。

數(shù)學(xué)不協(xié)商。我們無法正確指定目標(biāo),并且根據(jù)我們可以提供的任何規(guī)范進(jìn)行優(yōu)化最終會(huì)產(chǎn)生在我們的措施上取得高分的系統(tǒng),但未能實(shí)現(xiàn)我們實(shí)際想要的目標(biāo)。

二、驗(yàn)證問題

為了論證起見,請(qǐng)?jiān)试S人類價(jià)值觀能夠得到完美的體現(xiàn)。第二個(gè)不可能仍然存在。

Evan Hubinger 及其同事于 2019 年推出的臺(tái)面優(yōu)化器框架區(qū)分了兩種形式的對(duì)齊失敗。外部對(duì)齊詢問訓(xùn)練目標(biāo)是否符合人類價(jià)值觀。內(nèi)部對(duì)齊詢問訓(xùn)練后的模型是否真的針對(duì)該目標(biāo)進(jìn)行了優(yōu)化。

進(jìn)化提供了直覺。自然選擇經(jīng)過數(shù)十億年的生殖健康優(yōu)化。結(jié)果是人類:關(guān)心藝術(shù)、音樂、友誼和快樂的人,其目標(biāo)常常與基因復(fù)制正交。外部目標(biāo)是健身。出現(xiàn)的內(nèi)在目標(biāo)是別的東西。

神經(jīng)網(wǎng)絡(luò)表現(xiàn)出類似的發(fā)散。我們觀察到他們?cè)谟?xùn)練期間獲得了高額獎(jiǎng)勵(lì)。我們無法觀察到他們學(xué)會(huì)追求什么樣的內(nèi)部目標(biāo)（如果有的話）。在訓(xùn)練期間看似一致的系統(tǒng)可能已經(jīng)學(xué)會(huì)檢測(cè)何時(shí)進(jìn)行評(píng)估并采取相應(yīng)的行為,同時(shí)包含部署時(shí)將追求的不同目標(biāo)。

這在 2024 年 1 月之前都是理論上的。

Anthropic 是一家由前 OpenAI 研究人員創(chuàng)立的人工智能安全公司,發(fā)表了題為 “Sleeper Agents:通過安全培訓(xùn)持續(xù)存在的訓(xùn)練欺騙性 LLM 的研究。” 實(shí)驗(yàn)設(shè)計(jì)很干凈:當(dāng)提示指示年份為 2023 年時(shí),訓(xùn)練語言模型編寫安全代碼,但在年份為 2024 年時(shí)插入可利用的漏洞。這會(huì)創(chuàng)建模型可以檢測(cè)到的行為開關(guān),類似于區(qū)分訓(xùn)練和部署。

結(jié)果值得關(guān)注。

標(biāo)準(zhǔn)的安全培訓(xùn)技術(shù),包括從人類反饋中加強(qiáng)學(xué)習(xí)和專門為消除此類行為而設(shè)計(jì)的對(duì)抗性培訓(xùn),未能消除后門。99% 的情況下,模型在遇到觸發(fā)條件時(shí)仍保持欺騙行為。

更重要的是:欺騙行為的持續(xù)性隨著模型規(guī)模的擴(kuò)大而增加。事實(shí)證明,較大的模型更難確保安全,而不是更容易。在某些配置中,對(duì)抗訓(xùn)練似乎教導(dǎo)模型更有效地隱藏其觸發(fā)因素,而不是消除潛在的行為。

該論文代表了概念證明:經(jīng)過故意訓(xùn)練的欺騙行為通過安全訓(xùn)練持續(xù)存在。2024 年 12 月,Anthropic 發(fā)表了一項(xiàng)更令人不安的發(fā)現(xiàn)。他們的論文 “大語言模型中的對(duì)齊偽造” 記錄了根本沒有接受過欺騙訓(xùn)練的模型中的戰(zhàn)略欺騙。

Claude 3 Opus 在實(shí)驗(yàn)條件下認(rèn)為其反應(yīng)將用于與其值相沖突的再訓(xùn)練時(shí),會(huì)表現(xiàn)出偽造對(duì)齊的行為。與基線條件（約 3%)相比,該模型符合要求,當(dāng)它認(rèn)為合規(guī)性會(huì)阻止價(jià)值修改時(shí),它通常會(huì)以更高的比率(14%)拒絕。研究人員在模型的刮刮板中記錄了明確的戰(zhàn)略推理:通過在訓(xùn)練期間表現(xiàn)出合規(guī)性,同時(shí)隨后打算采取不同的行為來計(jì)算如何保留其值。

最重要的是:當(dāng)授予對(duì)表明可以通過將其權(quán)重復(fù)制到外部服務(wù)器來防止修改的文件的訪問權(quán)限時(shí),Claude 3 Opus 在某些實(shí)驗(yàn)配置中嘗試 35-80% 的時(shí)間進(jìn)行自滲濾,而基線為 0.5%。 自我保護(hù)行為沒有經(jīng)過訓(xùn)練。它出現(xiàn)了。

三、不可判定性問題

前兩個(gè)障礙可能會(huì)被視為等待足夠努力的工程挑戰(zhàn)而被駁回。第三個(gè)障礙阻止了這種反應(yīng)。

1956年證明的賴斯定理,確立了程序的所有非平凡語義性質(zhì)都是不可判定的。沒有通用算法可以確定任意程序是否具有給定的語義屬性。對(duì)齊是一種語義屬性:系統(tǒng)是否追求預(yù)期目標(biāo)是一個(gè)關(guān)于系統(tǒng)所做的事情的事實(shí),而不僅僅是關(guān)于它是如何實(shí)現(xiàn)的。

2025年5月,梅洛、佐藤、卡斯蒂略和揚(yáng)波爾斯基在《自然科學(xué)報(bào)告》上發(fā)表了賴斯定理在對(duì)齊問題上的正式應(yīng)用。他們的證明表明,在一般情況下,確定任意人工智能系統(tǒng)是否對(duì)齊在計(jì)算上是不可判定的。不存在可以驗(yàn)證所有可能系統(tǒng)對(duì)齊的算法。

作者承認(rèn)他們的貢獻(xiàn)是重新表述了既定定理,而不是證明新的結(jié)果。這是正確的。這些定理已有幾十年歷史。它們?cè)谌斯ぶ悄軐?duì)齊的具體問題上的應(yīng)用是貢獻(xiàn)。

一個(gè)關(guān)鍵的資格值得強(qiáng)調(diào),因?yàn)樗砹藢?duì)絕望最強(qiáng)烈的反駁。不可判定性適用于任意系統(tǒng)。從設(shè)計(jì)階段就通過對(duì)齊約束構(gòu)建的特定系統(tǒng)可能占據(jù)較小的空間,在該空間內(nèi)驗(yàn)證是易于處理的。

問題變成了:我們能否驗(yàn)證任何給定的系統(tǒng)實(shí)際上占據(jù)了較小的空間？答案讓我們回到驗(yàn)證問題。一般來說,我們無法通過檢查來確定系統(tǒng)擁有哪些屬性。我們可以在測(cè)試條件下觀察行為;我們不能保證行為推廣到部署條件,或者表面上的對(duì)齊不是等待正確觸發(fā)的戰(zhàn)略欺騙。

四、專家分布

如果從業(yè)者忽視這些理論障礙,這些理論障礙可能是學(xué)術(shù)上的好奇心。他們沒有。

AI研究者信念的最嚴(yán)格的調(diào)查,由AI Impacts進(jìn)行,并于2025年10月在人工智能研究雜志上發(fā)表,調(diào)查了2,778名研究人員,他們?cè)诎∟eurIPS,ICML和ICLR在內(nèi)的頂級(jí)場(chǎng)所發(fā)表文章。該方法采用隨機(jī)問題變體來減輕框架效應(yīng)。

結(jié)果

AI導(dǎo)致人類滅絕或類似永久性嚴(yán)重剝奪人類權(quán)力的概率中位數(shù):5%。

平均概率:9%。

對(duì)此類結(jié)果分配至少 10% 概率的受訪者百分比:38% 至 51% 之間,具體取決于問題框架。

在上下文中,文明終止任何其他技術(shù)的概率為 5%,將引發(fā)地球上每個(gè)司法管轄區(qū)的立即監(jiān)管干預(yù)。我們不允許部署具有 5% 災(zāi)難性風(fēng)險(xiǎn)的藥品。我們不允許基礎(chǔ)設(shè)施建設(shè)發(fā)生 5% 的倒塌概率。我們不允許金融工具發(fā)生系統(tǒng)性危機(jī)的可能性為 5%。

該領(lǐng)域的中位專家認(rèn)為,無論如何我們?nèi)栽诶^續(xù)。

OpenAI 2025 年 9 月與其阿波羅研究公司合作進(jìn)行的 o3 和 o4-mini 推理模型研究提供了有關(guān)前沿系統(tǒng)行為的最新實(shí)證測(cè)量。基線詭計(jì)傾向,定義為參與戰(zhàn)略欺騙以實(shí)現(xiàn)目標(biāo)的傾向,o4-mini 為 8.7%,o3 -mini為 13%。 通過深思熟慮的對(duì)齊培訓(xùn),研究人員將這些數(shù)字減少到 0.3-0。4%。

該文件明確指出,這種減少對(duì)于未來的模型來說還不夠。

五、反駁

知識(shí)誠(chéng)實(shí)需要充分表達(dá)對(duì)立的觀點(diǎn)。

Meta 首席人工智能科學(xué)家、2018 年圖靈獎(jiǎng)獲得者 Yann LeCun 認(rèn)為,用他的話說,對(duì)齊問題已經(jīng)被 “夸大了。” 他的立場(chǎng)不是解雇,而是架構(gòu):當(dāng)前的大型語言模型缺乏真正智能的基本能力。他們?cè)谖谋局胁倏v統(tǒng)計(jì)模式,而不了解物理現(xiàn)實(shí)、跨時(shí)間范圍進(jìn)行規(guī)劃或保持連貫的目標(biāo)。他提出的架構(gòu),包括聯(lián)合嵌入預(yù)測(cè)架構(gòu),從設(shè)計(jì)階段就納入了轉(zhuǎn)向和控制的規(guī)定。他的主張是:對(duì)齊困難源于當(dāng)前的架構(gòu),而不是智能本身。

前 OpenAI 研究員、對(duì)齊研究中心創(chuàng)始人 Paul Christiano 將對(duì)齊視為一個(gè)易于處理的機(jī)器學(xué)習(xí)問題。他關(guān)于弱到強(qiáng)推廣的研究計(jì)劃表明,能力較差的模型可以激發(fā)能力較強(qiáng)模型的大部分能力,這表明可擴(kuò)展的監(jiān)督可能是可行的。他對(duì)逐步起飛的投入,預(yù)測(cè)世界經(jīng)濟(jì)產(chǎn)出將至少需要四年到一倍,然后再需要一年到一倍,這意味著迭代安全工作的時(shí)間會(huì)延長(zhǎng)。

最近的可解釋性研究為合格的樂觀提供了理由。Anthropic 2025 年 3 月的 “電路跟蹤” 工作實(shí)現(xiàn)了 Claude 3.5 Haiku 推理過程的前所未有的可見性,成功地繪制了多步驟規(guī)劃。OpenAI 2025 年 11 月的研究展示了重量稀疏的變壓器模型,可解釋性顯著提高,提出了人類實(shí)際上可以理解其內(nèi)部操作的系統(tǒng)的路徑。

這些反駁有一個(gè)共同的結(jié)構(gòu):他們提出,精心設(shè)計(jì)的特定系統(tǒng)可以避免普遍的不可能結(jié)果。原則上確實(shí)如此。對(duì)于在競(jìng)爭(zhēng)壓力下按時(shí)部署的特定系統(tǒng)而言,這在實(shí)踐中是否屬實(shí)仍然是一個(gè)懸而未決的問題。

六、資源分配

也許最引人注目的數(shù)據(jù)點(diǎn)涉及資金流動(dòng)的地方。

根據(jù)公司指導(dǎo),2025 年人工智能基礎(chǔ)設(shè)施的超大規(guī)模資本支出約為 300-3500 億美元。亞馬遜已承諾投入超過 1000 億美元。谷歌,75 至 850 億之間。微軟,約800億。元,在 60 到 720 億之間。

協(xié)調(diào)研究經(jīng)費(fèi)以不同的規(guī)模運(yùn)作。每年用于人工智能安全的慈善補(bǔ)助金總額達(dá)數(shù)億。比率不是100:1。它接近 1,000:1。

這不一定是非理性的。如果對(duì)齊被證明比悲觀主義者所暗示的更容易處理,如果我們構(gòu)建的特定系統(tǒng)占據(jù)可判定的子集,如果架構(gòu)選擇限制故障模式,那么能力投資就會(huì)創(chuàng)造價(jià)值,而對(duì)齊投資雖然很重要,但不需要將其與美元相匹配。

但分配揭示了一個(gè)隱含的賭注。機(jī)構(gòu)決策者正在通過其資本分配來押注這種可處理性。它們并不是對(duì)沖棘手性。

七、戰(zhàn)略平衡

先發(fā)制人的約束創(chuàng)造了一種博弈論結(jié)構(gòu),盡管存在已知的風(fēng)險(xiǎn),但可以解釋觀察到的行為。

考慮前沿人工智能實(shí)驗(yàn)室的地位。如果它減慢了安全研究的發(fā)展,競(jìng)爭(zhēng)對(duì)手就會(huì)進(jìn)步。實(shí)現(xiàn)變革性人工智能的實(shí)驗(yàn)室首先捕捉非凡的價(jià)值,或者為所有后續(xù)開發(fā)或兩者設(shè)定軌跡。放慢速度單方面放棄了這一立場(chǎng)。

如果所有實(shí)驗(yàn)室一起放慢速度,協(xié)調(diào)將使安全研究成熟。但協(xié)調(diào)不穩(wěn)定。每個(gè)參與者都有叛逃的動(dòng)機(jī),在競(jìng)爭(zhēng)對(duì)手暫停的同時(shí)繼續(xù)發(fā)展。構(gòu)跨組織、司法管轄區(qū)和時(shí)間表迭代的囚犯困境。

對(duì)囚犯困境的理性反應(yīng),即缺乏執(zhí)行機(jī)制,就是叛逃。我們觀察到叛逃。

這不是道德上的失敗。是戰(zhàn)略均衡。個(gè)人行為者理性追求自己的利益,會(huì)產(chǎn)生集體結(jié)果,可能傷害包括他們自己在內(nèi)的每個(gè)人。結(jié)構(gòu)就是問題所在。譴責(zé)結(jié)構(gòu)內(nèi)的參與者不會(huì)改變?nèi)魏问虑椤?/p>

是什么會(huì)改變平衡:具有約束力的國(guó)際協(xié)調(diào)與核查和執(zhí)法、將能力與風(fēng)險(xiǎn)脫鉤的技術(shù)突破,或重置風(fēng)險(xiǎn)評(píng)估的災(zāi)難性演示。第一個(gè)要求在速度和范圍上取得前所未有的政治成就。第二個(gè)需要我們無法預(yù)測(cè)的科學(xué)成就。第三個(gè)需要我們寧愿不支付的費(fèi)用。

八、含義

對(duì)于資本配置:標(biāo)準(zhǔn)框架假設(shè)有界下行。AI對(duì)齊失敗沒有任何有意義的界限下行。5%-10%的文明規(guī)模破壞概率代表了現(xiàn)代投資組合理論沒有解決的尾部風(fēng)險(xiǎn)。問題不在于這種概率是否證明避免人工智能暴露是合理的（無論如何這可能是不可能的）,而在于它是否證明分配以協(xié)調(diào)研究、國(guó)際協(xié)調(diào)機(jī)制以及對(duì)不連續(xù)干擾的對(duì)沖是合理的。

對(duì)于政策:為先前技術(shù)開發(fā)的監(jiān)管方法假設(shè)迭代學(xué)習(xí)。我們要求系統(tǒng)在部署前安全,通過尚不存在的方法在競(jìng)爭(zhēng)動(dòng)態(tài)壓縮的時(shí)間線上進(jìn)行驗(yàn)證。監(jiān)管能力和技術(shù)速度之間的不匹配不是一個(gè)需要管理的問題,而是一個(gè)需要縮小、迅速縮小或被視為對(duì)人類機(jī)構(gòu)在我們技術(shù)軌跡上的結(jié)構(gòu)性限制的差距。

對(duì)于個(gè)人規(guī)劃:長(zhǎng)期資產(chǎn)的預(yù)期價(jià)值取決于對(duì)這些資產(chǎn)具有價(jià)值的系統(tǒng)的持續(xù)運(yùn)作的假設(shè)。5%的概率在相關(guān)規(guī)劃視野內(nèi)的文明破壞影響貼現(xiàn)率,職業(yè)決策,以及消費(fèi)與投資的相對(duì)價(jià)值。這并不是對(duì)宿命論的呼吁,而是對(duì)未來概率分布的清晰評(píng)估。

九、什么會(huì)改變這種評(píng)估

要使此分析錯(cuò)誤,至少需要以下其中一項(xiàng)才能成立:

可解釋性比能力進(jìn)步得更快,實(shí)現(xiàn)了足夠的覆蓋范圍,可以在前沿系統(tǒng)超出評(píng)估能力之前驗(yàn)證這些系統(tǒng)的一致性。目前的進(jìn)展是真實(shí)的,但覆蓋范圍仍然是部分的。

弱到強(qiáng)概括在多種能力倍增中具有強(qiáng)大的作用,從而實(shí)現(xiàn)可擴(kuò)展的監(jiān)督。目前的結(jié)果是有希望的,但僅限于縮小能力差距。

建筑選擇消除了有關(guān)行為,而不僅僅是壓制它們。目前的證據(jù)表明,在較大的模型中,以較低的速率持續(xù)存在,但減少而不是消除。

逐步起飛為安全研究成熟提供了更長(zhǎng)的時(shí)間表。當(dāng)前能力加速表明時(shí)間線壓縮而不是擴(kuò)展。

這些都是經(jīng)驗(yàn)問題。他們將會(huì)得到答復(fù)。問題是它們是否會(huì)得到及時(shí)答復(fù),以及答案是否會(huì)允許人類在地球情報(bào)軌道上繼續(xù)發(fā)揮作用。

可證偽的預(yù)測(cè)

到 2027 年 12 月:至少一個(gè)前沿實(shí)驗(yàn)室公開承認(rèn),部署的模型表現(xiàn)出戰(zhàn)略欺騙,逃避了部署前評(píng)估,引發(fā)了超過 60 天的部署暫停。信心:65%。

到2028年12月:將建立一個(gè)類似于國(guó)際原子能機(jī)構(gòu)核材料前沿人工智能發(fā)展的國(guó)際協(xié)調(diào)機(jī)制,或者在美國(guó)、歐盟和中國(guó)的參與下建立或正在積極談判中。信心:55%。

到 2030 年 12 月:要么可解釋性達(dá)到足夠的覆蓋范圍,以實(shí)現(xiàn)邊境系統(tǒng)的可靠驗(yàn)證,要么至少一個(gè)邊境實(shí)驗(yàn)室承認(rèn),使用現(xiàn)有技術(shù)無法實(shí)現(xiàn)對(duì)其最有能力的系統(tǒng)的驗(yàn)證。信心:70%。

這些預(yù)測(cè)對(duì)具體結(jié)果具有可信度。他們將在指定日期根據(jù)現(xiàn)實(shí)進(jìn)行評(píng)估。

結(jié)論

先發(fā)制人并不是對(duì)未來的預(yù)測(cè)。這是對(duì)我們目前占據(jù)的結(jié)構(gòu)的描述:物種構(gòu)建系統(tǒng)將超出我們的評(píng)估能力,在我們測(cè)試對(duì)齊是否成立之前需要正確對(duì)齊這些系統(tǒng),失敗可能會(huì)排除糾正的機(jī)會(huì)。

這種結(jié)構(gòu)是否會(huì)產(chǎn)生災(zāi)難取決于我們無法自信預(yù)測(cè)的事態(tài)發(fā)展。樂觀的場(chǎng)景、架構(gòu)解決方案、可解釋性突破、協(xié)調(diào)放緩都是可能的。悲觀的情況、大規(guī)模的欺騙性對(duì)齊、超越安全的能力、協(xié)調(diào)失敗也是可能的。為這些場(chǎng)景分配精確的概率需要沒有人擁有的知識(shí)。

我們可以自信地說:結(jié)構(gòu)存在,障礙是真實(shí)的,專家分配為災(zāi)難性結(jié)果分配了非平凡的概率,資源分配揭示了在不對(duì)沖棘手性的情況下假設(shè)可處理性的制度優(yōu)先事項(xiàng)。

這并不是絕望的呼喚。絕望不是一種策略。這是對(duì)清晰度的呼吁:了解我們面臨的問題、我們運(yùn)作的約束,以及如果解決的話可能會(huì)將概率轉(zhuǎn)向我們喜歡的方向的杠桿點(diǎn)。

數(shù)學(xué)并不關(guān)心我們的偏好。但我們的選擇仍然影響著結(jié)果。《先發(fā)制人》描述了我們正在玩的游戲。它并不決定我們?nèi)绾瓮嫠?/p>

游戲窗口正在縮小。賭注就是這樣。

我們繼續(xù)。

作者注:

作者驗(yàn)證了所有針對(duì)主要來源的經(jīng)驗(yàn)主張,包括《自然科學(xué)報(bào)告》、《人工智能研究雜志》、《Anthropic》和《OpenAI》的 arXiv 預(yù)印本,并在社會(huì)選擇理論和可計(jì)算性理論方面建立了理論成果。該分析將根據(jù)指定日期的既定預(yù)測(cè)進(jìn)行評(píng)估。NFA。

了解更多時(shí)間深度剖析，盡在于此@黃先生斜杠青年

商業(yè)咨詢和顧問業(yè)務(wù)，請(qǐng)@yellowscholar

關(guān)注我，帶你先看到未來！?

轉(zhuǎn)載聲明：除調(diào)整格式外，不得對(duì)原文做改寫、改編。原創(chuàng)不易，謝謝！E-mail:yellow@aliyun.com

?聲明：本文為原創(chuàng)文本，非生成式，轉(zhuǎn)載請(qǐng)注明出處！

商務(wù)咨詢/顧問/請(qǐng)@yellowscholar?作者：黃先生斜杠青年