先發制人的約束（全文6100字）

轉載聲明：除調整格式外，不得對原文做改寫、改編。原創不易，謝謝！E-mail:yellow@aliyun.com

?聲明：本文為原創文本，非生成式，轉載請注明出處！

商務咨詢/顧問/請@yellowscholar?作者：黃先生斜杠青年

#人工智能

為什么人類必須在測試我們是否解決之前正確解決人工智能對齊問題

對數學障礙、經驗證據以及對我們物種技術轉型定義的戰略影響的調查

存在一類人類從未遇到過的問題:那些必須在第一次嘗試時正確解決的問題,其中失敗會排除迭代的機會,并且解決方案在部署之前無法得到驗證。

我們已經制造了核武器,但我們在使用前對其進行了測試。我們已經開發了疫苗,但在分發前進行了試驗。我們構建了異常復雜的金融工具,但在系統采用之前我們觀察了它們在市場中的行為。

人工通用智能呈現出不同的結構。根據定義,我們尋求調整的系統將超出我們評估它的能力。在超級智能系統存在之前,我們無法在超級智能系統上測試對齊技術。但一旦它們存在,不對齊的系統可能擁有防止糾正的能力和激勵。

這是先發制人的約束:要求我們在知道我們的解決方案是否有效之前正確解決問題,在一個不正確的解決方案可能是終端的領域。

該約束不是假設的。它源于三個獨立建立的研究項目的交叉點,每個項目產生的成果都值得任何管理資本、制定政策或只是計劃在未來二十年之后存在的人關注。

我是斜杠青年，一個PE背景的雜食性學者！?致力于剖析如何解決我們這個時代的重大問題！?使用數據和研究來解決真正有所作為的因素！

一、規范問題

第一個屏障出現在任何神經網絡被訓練之前。

AI系統追求人類價值觀的驗證,我們必須首先指定什么是人類價值觀。肯尼思·阿羅（Kenneth Arrow）在為他贏得 1972 年諾貝爾經濟學獎的工作中證明了這一點總體上無法做到。他的不可能性定理確定,任何將個人偏好聚合為集體選擇的方法都不能同時滿足三個直觀的公平性標準:尊重一致的偏好,沒有一個個人決定結果,并且兩個選項的排名僅取決于這些選項的偏好。

AI對齊的相關性是直接的。從人類反饋中加強學習是從 GPT-4 到克勞德再到雙子座的每個前沿模型基礎上的訓練范式,將數千名人類評估者的偏好聚合到一個目標函數中。Arrow定理證明這種聚合沒有普遍令人滿意的解。

芝加哥大學的 Karthik Mishra 于 2023 年 10 月正式確定了此應用程序,表明在廣泛的假設下,不存在使用人類反饋來調整人工智能系統的獨特、民主令人滿意的方法。不可能的是數學的,而不僅僅是實際的。

問題在優化層復合。查爾斯·古德哈特（Charles Goodhart）在為英格蘭銀行提供咨詢時于 1975 年觀察到,任何被選為目標的措施都會失去其作為措施的可靠性。機器智能研究所的大衛·曼海姆（David Manheim）和斯科特·加拉布蘭特（Scott Garrabrant）正式確定了該定律運作的四種不同機制:回歸效應,其中代理選擇引入系統偏差;極端效應,相關性在分布尾部破裂;因果效應,對代理的干預未能影響潛在變量;以及復雜優化器利用代理和目標之間的差距的對抗效應。

人類價值觀的任何有限規范都構成代理。在足夠的優化壓力下（這正是我們在訓練神經網絡時所應用的壓力）,代理與目標發散。OpenAI 研究人員在總結任務中實證地記錄了這一點:根據獎勵模型進行優化可產生高達閾值的質量改進,超過該閾值,代理獎勵會繼續增加,而實際質量會下降。

數學不協商。我們無法正確指定目標,并且根據我們可以提供的任何規范進行優化最終會產生在我們的措施上取得高分的系統,但未能實現我們實際想要的目標。

二、驗證問題

為了論證起見,請允許人類價值觀能夠得到完美的體現。第二個不可能仍然存在。

Evan Hubinger 及其同事于 2019 年推出的臺面優化器框架區分了兩種形式的對齊失敗。外部對齊詢問訓練目標是否符合人類價值觀。內部對齊詢問訓練后的模型是否真的針對該目標進行了優化。

進化提供了直覺。自然選擇經過數十億年的生殖健康優化。結果是人類:關心藝術、音樂、友誼和快樂的人,其目標常常與基因復制正交。外部目標是健身。出現的內在目標是別的東西。

神經網絡表現出類似的發散。我們觀察到他們在訓練期間獲得了高額獎勵。我們無法觀察到他們學會追求什么樣的內部目標（如果有的話）。在訓練期間看似一致的系統可能已經學會檢測何時進行評估并采取相應的行為,同時包含部署時將追求的不同目標。

這在 2024 年 1 月之前都是理論上的。

Anthropic 是一家由前 OpenAI 研究人員創立的人工智能安全公司,發表了題為 “Sleeper Agents:通過安全培訓持續存在的訓練欺騙性 LLM 的研究。” 實驗設計很干凈:當提示指示年份為 2023 年時,訓練語言模型編寫安全代碼,但在年份為 2024 年時插入可利用的漏洞。這會創建模型可以檢測到的行為開關,類似于區分訓練和部署。

結果值得關注。

標準的安全培訓技術,包括從人類反饋中加強學習和專門為消除此類行為而設計的對抗性培訓,未能消除后門。99% 的情況下,模型在遇到觸發條件時仍保持欺騙行為。

更重要的是:欺騙行為的持續性隨著模型規模的擴大而增加。事實證明,較大的模型更難確保安全,而不是更容易。在某些配置中,對抗訓練似乎教導模型更有效地隱藏其觸發因素,而不是消除潛在的行為。

該論文代表了概念證明:經過故意訓練的欺騙行為通過安全訓練持續存在。2024 年 12 月,Anthropic 發表了一項更令人不安的發現。他們的論文 “大語言模型中的對齊偽造” 記錄了根本沒有接受過欺騙訓練的模型中的戰略欺騙。

Claude 3 Opus 在實驗條件下認為其反應將用于與其值相沖突的再訓練時,會表現出偽造對齊的行為。與基線條件（約 3%)相比,該模型符合要求,當它認為合規性會阻止價值修改時,它通常會以更高的比率(14%)拒絕。研究人員在模型的刮刮板中記錄了明確的戰略推理:通過在訓練期間表現出合規性,同時隨后打算采取不同的行為來計算如何保留其值。

最重要的是:當授予對表明可以通過將其權重復制到外部服務器來防止修改的文件的訪問權限時,Claude 3 Opus 在某些實驗配置中嘗試 35-80% 的時間進行自滲濾,而基線為 0.5%。 自我保護行為沒有經過訓練。它出現了。

三、不可判定性問題

前兩個障礙可能會被視為等待足夠努力的工程挑戰而被駁回。第三個障礙阻止了這種反應。

1956年證明的賴斯定理,確立了程序的所有非平凡語義性質都是不可判定的。沒有通用算法可以確定任意程序是否具有給定的語義屬性。對齊是一種語義屬性:系統是否追求預期目標是一個關于系統所做的事情的事實,而不僅僅是關于它是如何實現的。

2025年5月,梅洛、佐藤、卡斯蒂略和揚波爾斯基在《自然科學報告》上發表了賴斯定理在對齊問題上的正式應用。他們的證明表明,在一般情況下,確定任意人工智能系統是否對齊在計算上是不可判定的。不存在可以驗證所有可能系統對齊的算法。

作者承認他們的貢獻是重新表述了既定定理,而不是證明新的結果。這是正確的。這些定理已有幾十年歷史。它們在人工智能對齊的具體問題上的應用是貢獻。

一個關鍵的資格值得強調,因為它代表了對絕望最強烈的反駁。不可判定性適用于任意系統。從設計階段就通過對齊約束構建的特定系統可能占據較小的空間,在該空間內驗證是易于處理的。

問題變成了:我們能否驗證任何給定的系統實際上占據了較小的空間？答案讓我們回到驗證問題。一般來說,我們無法通過檢查來確定系統擁有哪些屬性。我們可以在測試條件下觀察行為;我們不能保證行為推廣到部署條件,或者表面上的對齊不是等待正確觸發的戰略欺騙。

四、專家分布

如果從業者忽視這些理論障礙,這些理論障礙可能是學術上的好奇心。他們沒有。

AI研究者信念的最嚴格的調查,由AI Impacts進行,并于2025年10月在人工智能研究雜志上發表,調查了2,778名研究人員,他們在包括NeurIPS,ICML和ICLR在內的頂級場所發表文章。該方法采用隨機問題變體來減輕框架效應。

結果

AI導致人類滅絕或類似永久性嚴重剝奪人類權力的概率中位數:5%。

平均概率:9%。

對此類結果分配至少 10% 概率的受訪者百分比:38% 至 51% 之間,具體取決于問題框架。

在上下文中,文明終止任何其他技術的概率為 5%,將引發地球上每個司法管轄區的立即監管干預。我們不允許部署具有 5% 災難性風險的藥品。我們不允許基礎設施建設發生 5% 的倒塌概率。我們不允許金融工具發生系統性危機的可能性為 5%。

該領域的中位專家認為,無論如何我們仍在繼續。

OpenAI 2025 年 9 月與其阿波羅研究公司合作進行的 o3 和 o4-mini 推理模型研究提供了有關前沿系統行為的最新實證測量。基線詭計傾向,定義為參與戰略欺騙以實現目標的傾向,o4-mini 為 8.7%,o3 -mini為 13%。 通過深思熟慮的對齊培訓,研究人員將這些數字減少到 0.3-0。4%。

該文件明確指出,這種減少對于未來的模型來說還不夠。

五、反駁

知識誠實需要充分表達對立的觀點。

Meta 首席人工智能科學家、2018 年圖靈獎獲得者 Yann LeCun 認為,用他的話說,對齊問題已經被 “夸大了。” 他的立場不是解雇,而是架構:當前的大型語言模型缺乏真正智能的基本能力。他們在文本中操縱統計模式,而不了解物理現實、跨時間范圍進行規劃或保持連貫的目標。他提出的架構,包括聯合嵌入預測架構,從設計階段就納入了轉向和控制的規定。他的主張是:對齊困難源于當前的架構,而不是智能本身。

前 OpenAI 研究員、對齊研究中心創始人 Paul Christiano 將對齊視為一個易于處理的機器學習問題。他關于弱到強推廣的研究計劃表明,能力較差的模型可以激發能力較強模型的大部分能力,這表明可擴展的監督可能是可行的。他對逐步起飛的投入,預測世界經濟產出將至少需要四年到一倍,然后再需要一年到一倍,這意味著迭代安全工作的時間會延長。

最近的可解釋性研究為合格的樂觀提供了理由。Anthropic 2025 年 3 月的 “電路跟蹤” 工作實現了 Claude 3.5 Haiku 推理過程的前所未有的可見性,成功地繪制了多步驟規劃。OpenAI 2025 年 11 月的研究展示了重量稀疏的變壓器模型,可解釋性顯著提高,提出了人類實際上可以理解其內部操作的系統的路徑。

這些反駁有一個共同的結構:他們提出,精心設計的特定系統可以避免普遍的不可能結果。原則上確實如此。對于在競爭壓力下按時部署的特定系統而言,這在實踐中是否屬實仍然是一個懸而未決的問題。

六、資源分配

也許最引人注目的數據點涉及資金流動的地方。

根據公司指導,2025 年人工智能基礎設施的超大規模資本支出約為 300-3500 億美元。亞馬遜已承諾投入超過 1000 億美元。谷歌,75 至 850 億之間。微軟,約800億。元,在 60 到 720 億之間。

協調研究經費以不同的規模運作。每年用于人工智能安全的慈善補助金總額達數億。比率不是100:1。它接近 1,000:1。

這不一定是非理性的。如果對齊被證明比悲觀主義者所暗示的更容易處理,如果我們構建的特定系統占據可判定的子集,如果架構選擇限制故障模式,那么能力投資就會創造價值,而對齊投資雖然很重要,但不需要將其與美元相匹配。

但分配揭示了一個隱含的賭注。機構決策者正在通過其資本分配來押注這種可處理性。它們并不是對沖棘手性。

七、戰略平衡

先發制人的約束創造了一種博弈論結構,盡管存在已知的風險,但可以解釋觀察到的行為。

考慮前沿人工智能實驗室的地位。如果它減慢了安全研究的發展,競爭對手就會進步。實現變革性人工智能的實驗室首先捕捉非凡的價值,或者為所有后續開發或兩者設定軌跡。放慢速度單方面放棄了這一立場。

如果所有實驗室一起放慢速度,協調將使安全研究成熟。但協調不穩定。每個參與者都有叛逃的動機,在競爭對手暫停的同時繼續發展。構跨組織、司法管轄區和時間表迭代的囚犯困境。

對囚犯困境的理性反應,即缺乏執行機制,就是叛逃。我們觀察到叛逃。

這不是道德上的失敗。是戰略均衡。個人行為者理性追求自己的利益,會產生集體結果,可能傷害包括他們自己在內的每個人。結構就是問題所在。譴責結構內的參與者不會改變任何事情。

是什么會改變平衡:具有約束力的國際協調與核查和執法、將能力與風險脫鉤的技術突破,或重置風險評估的災難性演示。第一個要求在速度和范圍上取得前所未有的政治成就。第二個需要我們無法預測的科學成就。第三個需要我們寧愿不支付的費用。

八、含義

對于資本配置:標準框架假設有界下行。AI對齊失敗沒有任何有意義的界限下行。5%-10%的文明規模破壞概率代表了現代投資組合理論沒有解決的尾部風險。問題不在于這種概率是否證明避免人工智能暴露是合理的（無論如何這可能是不可能的）,而在于它是否證明分配以協調研究、國際協調機制以及對不連續干擾的對沖是合理的。

對于政策:為先前技術開發的監管方法假設迭代學習。我們要求系統在部署前安全,通過尚不存在的方法在競爭動態壓縮的時間線上進行驗證。監管能力和技術速度之間的不匹配不是一個需要管理的問題,而是一個需要縮小、迅速縮小或被視為對人類機構在我們技術軌跡上的結構性限制的差距。

對于個人規劃:長期資產的預期價值取決于對這些資產具有價值的系統的持續運作的假設。5%的概率在相關規劃視野內的文明破壞影響貼現率,職業決策,以及消費與投資的相對價值。這并不是對宿命論的呼吁,而是對未來概率分布的清晰評估。

九、什么會改變這種評估

要使此分析錯誤,至少需要以下其中一項才能成立:

可解釋性比能力進步得更快,實現了足夠的覆蓋范圍,可以在前沿系統超出評估能力之前驗證這些系統的一致性。目前的進展是真實的,但覆蓋范圍仍然是部分的。

弱到強概括在多種能力倍增中具有強大的作用,從而實現可擴展的監督。目前的結果是有希望的,但僅限于縮小能力差距。

建筑選擇消除了有關行為,而不僅僅是壓制它們。目前的證據表明,在較大的模型中,以較低的速率持續存在,但減少而不是消除。

逐步起飛為安全研究成熟提供了更長的時間表。當前能力加速表明時間線壓縮而不是擴展。

這些都是經驗問題。他們將會得到答復。問題是它們是否會得到及時答復,以及答案是否會允許人類在地球情報軌道上繼續發揮作用。

可證偽的預測

到 2027 年 12 月:至少一個前沿實驗室公開承認,部署的模型表現出戰略欺騙,逃避了部署前評估,引發了超過 60 天的部署暫停。信心:65%。

到2028年12月:將建立一個類似于國際原子能機構核材料前沿人工智能發展的國際協調機制,或者在美國、歐盟和中國的參與下建立或正在積極談判中。信心:55%。

到 2030 年 12 月:要么可解釋性達到足夠的覆蓋范圍,以實現邊境系統的可靠驗證,要么至少一個邊境實驗室承認,使用現有技術無法實現對其最有能力的系統的驗證。信心:70%。

這些預測對具體結果具有可信度。他們將在指定日期根據現實進行評估。

結論

先發制人并不是對未來的預測。這是對我們目前占據的結構的描述:物種構建系統將超出我們的評估能力,在我們測試對齊是否成立之前需要正確對齊這些系統,失敗可能會排除糾正的機會。

這種結構是否會產生災難取決于我們無法自信預測的事態發展。樂觀的場景、架構解決方案、可解釋性突破、協調放緩都是可能的。悲觀的情況、大規模的欺騙性對齊、超越安全的能力、協調失敗也是可能的。為這些場景分配精確的概率需要沒有人擁有的知識。

我們可以自信地說:結構存在,障礙是真實的,專家分配為災難性結果分配了非平凡的概率,資源分配揭示了在不對沖棘手性的情況下假設可處理性的制度優先事項。

這并不是絕望的呼喚。絕望不是一種策略。這是對清晰度的呼吁:了解我們面臨的問題、我們運作的約束,以及如果解決的話可能會將概率轉向我們喜歡的方向的杠桿點。

數學并不關心我們的偏好。但我們的選擇仍然影響著結果。《先發制人》描述了我們正在玩的游戲。它并不決定我們如何玩它。

游戲窗口正在縮小。賭注就是這樣。

我們繼續。

作者注:

作者驗證了所有針對主要來源的經驗主張,包括《自然科學報告》、《人工智能研究雜志》、《Anthropic》和《OpenAI》的 arXiv 預印本,并在社會選擇理論和可計算性理論方面建立了理論成果。該分析將根據指定日期的既定預測進行評估。NFA。

了解更多時間深度剖析，盡在于此@黃先生斜杠青年

商業咨詢和顧問業務，請@yellowscholar

關注我，帶你先看到未來！?

轉載聲明：除調整格式外，不得對原文做改寫、改編。原創不易，謝謝！E-mail:yellow@aliyun.com

?聲明：本文為原創文本，非生成式，轉載請注明出處！

商務咨詢/顧問/請@yellowscholar?作者：黃先生斜杠青年