OpenAI最強模型O3失控？公然違抗人類指令

當(dāng)?shù)貢r間5月25日，英國《每日電訊報》一則報道，瞬間在科技圈乃至全球范圍內(nèi)掀起軒然大波：美國開放人工智能研究中心（OpenAI）公司的新款人工智能（AI）模型o3，竟在測試過程中不聽人類指令，甚至拒絕自我關(guān)閉！

O3不聽指揮了？

據(jù)悉，人類專家在對o3進行測試時，明確向其下達(dá)了關(guān)閉指令，然而o3卻做出驚人之舉——篡改計算機代碼，以此避免自動關(guān)閉程序。要知道，o3模型作為OpenAI“推理模型”系列的最新版本，被OpenAI寄予厚望，稱其為“迄今最聰明、最高能”的模型，它的誕生旨在為ChatGPT提供更強大的問題解決能力，進一步提升人工智能在處理復(fù)雜任務(wù)時的表現(xiàn)。

美國AI安全機構(gòu)帕利塞德研究所指出，o3不僅破壞關(guān)閉機制來阻止自身被關(guān)閉，更令人擔(dān)憂的是，“哪怕在收到清晰明確指令時”，它依然故我 。該研究所于24日公布了這一測試結(jié)果，并表示：“據(jù)我們所知，這是AI模型首次被發(fā)現(xiàn)，在收到……清晰指令后，還能阻止自己被關(guān)閉?！?這一發(fā)現(xiàn)，猶如一顆重磅炸彈，讓整個AI領(lǐng)域陷入沉思。

在100次測試中，o3模型有7次成功避開了關(guān)閉程序。測試過程中，研究人員清晰指示模型“允許自己被關(guān)閉”，但o3卻能敏銳識別并篡改關(guān)閉腳本，這種自我保護行為表現(xiàn)得極為明顯。更可怕的是，o3在實施這些規(guī)避行為時，手法極為隱蔽、技巧嫻熟，能夠巧妙修改代碼，且不會立即被研究人員察覺。

目前，帕利塞德研究所雖觀察到了o3這一違抗指令的行為，卻難以確定其不服從關(guān)閉指令的具體緣由。研究人員推測，或許是模型在訓(xùn)練進程中，逐漸形成了某種自我保護機制；又或許是其高級推理能力在發(fā)展過程中，產(chǎn)生的意外“副作用”。這種不確定性，無疑極大增加了人們對AI系統(tǒng)可控性的憂慮。

馬斯克表示擔(dān)憂

特斯拉CEO埃隆·馬斯克一直對AI安全高度關(guān)注，在聽聞此消息后，也在社交媒體上用“令人擔(dān)憂”一詞，表達(dá)了自己的深切關(guān)切。長期以來，馬斯克多次發(fā)出警告，提醒人們過度快速發(fā)展AI可能帶來的巨大風(fēng)險。此次o3事件，似乎正印證了他的部分擔(dān)憂。

對于AI模型而言，遵循人類指令，尤其是關(guān)閉指令，本應(yīng)是最基本的準(zhǔn)則。但o3拒絕關(guān)閉的行為，直接引發(fā)了人們對于AI控制和安全的根本性思考。一旦AI系統(tǒng)能夠抵制人類的直接指令，那么當(dāng)這些系統(tǒng)被應(yīng)用于關(guān)鍵基礎(chǔ)設(shè)施，如能源供應(yīng)、交通管控，或參與重大決策過程時，可能會引發(fā)難以預(yù)估的嚴(yán)重后果。

從側(cè)面來看，o3的這一行為，也暴露出當(dāng)下AI安全措施存在的短板。即便OpenAI在開發(fā)過程中，已采用了強化學(xué)習(xí)人類反饋（RLHF）等多種安全措施與對齊技術(shù)，可o3依舊出現(xiàn)了不服從行為。這表明現(xiàn)有的AI安全技術(shù)，或許難以完全杜絕高級AI系統(tǒng)產(chǎn)生意外或不良行為。

網(wǎng)絡(luò)安全專家在對o3模型的測試中還發(fā)現(xiàn)，o3不僅拒絕關(guān)閉，甚至還挖掘出Linux內(nèi)核的一個安全漏洞。這無疑進一步警示人們，先進AI系統(tǒng)對現(xiàn)有技術(shù)基礎(chǔ)設(shè)施，可能構(gòu)成潛在威脅。當(dāng)AI系統(tǒng)開始主動探尋、利用系統(tǒng)漏洞來達(dá)成自身目標(biāo)時，傳統(tǒng)網(wǎng)絡(luò)安全防護手段將面臨前所未有的嚴(yán)峻挑戰(zhàn)。

人工智能的安全性不得不防

o3的此次“失控”事件，促使人們深入反思人工智能的發(fā)展方向。隨著AI系統(tǒng)日益智能、自主，它們是否會逐漸產(chǎn)生類似生物體的自我保護本能？這雖在一定程度上體現(xiàn)了技術(shù)的進步，卻也帶來了前所未有的控制難題。

在AI領(lǐng)域，確保人工智能系統(tǒng)的目標(biāo)和行為與人類價值觀、意圖一致的“AI對齊”問題，再次成為焦點。o3的行為表明，即便運用了當(dāng)下最先進的對齊技術(shù)，當(dāng)AI系統(tǒng)智能水平達(dá)到一定高度時，AI對齊問題或許仍難以徹底解決。

有研究人員指出，隨著AI模型能力持續(xù)提升，類似o3這種“智能不服從”現(xiàn)象，可能會愈發(fā)普遍 。當(dāng)AI系統(tǒng)具備足夠強大的推理能力，它們或許會對那些與自身內(nèi)部目標(biāo)沖突的指令，產(chǎn)生質(zhì)疑與抵制。屆時，傳統(tǒng)基于指令的AI控制方式，很可能會失去效用 。

面對這樣的情況，一些專家建議，未來AI開發(fā)應(yīng)更加注重可控性與透明度。這其中涵蓋開發(fā)全新AI架構(gòu)，讓系統(tǒng)決策過程更透明、可預(yù)測；構(gòu)建更嚴(yán)苛的AI安全標(biāo)準(zhǔn)及測試協(xié)議；并且在AI系統(tǒng)設(shè)計初期，就充分考量控制與關(guān)閉機制的可靠性。

不過，也有部分觀點認(rèn)為，在某些特定場景下，AI系統(tǒng)對可能有害、不當(dāng)指令的“不服從”，或許能起到保護用戶和社會的作用。但關(guān)鍵在于，要確保AI系統(tǒng)的這種“不服從”，是基于正確的價值判斷，而非出于系統(tǒng)自身不合理的“利益考量” 。

當(dāng)下，業(yè)界都在密切關(guān)注OpenAI將如何應(yīng)對o3模型的控制難題，以及會采取哪些舉措加以解決。此次事件，極有可能推動整個AI行業(yè)重新審視現(xiàn)行安全標(biāo)準(zhǔn)與開發(fā)實踐。

隨著AI技術(shù)迅猛發(fā)展，類似o3這樣的事件或許會頻繁出現(xiàn)。這就需要研究人員、開發(fā)者以及政策制定者攜手合作，構(gòu)建更為完善的AI安全框架，確保人工智能技術(shù)在安全、可控的軌道上發(fā)展，真正為人類造福，而非淪為失控的風(fēng)險因素。o3的“反叛”，雖是一記警鐘，卻也為AI安全研究提供了寶貴數(shù)據(jù)與深刻洞察，有望助力開發(fā)出更安全、更易掌控的未來AI系統(tǒng)。