馬斯克發聲：令人擔憂......AI模型首次不聽人類指揮，拒絕關閉！

首次！不聽人類指揮，AI模型拒絕關閉！馬斯克評論：令人擔憂......

據央視新聞5月26日消息，當地時間5月25日，英國《每日電訊報》報道，美國開放人工智能研究中心（OpenAI）公司新款人工智能（AI）模型o3不聽人類指令，拒絕自我關閉。

報道說，人類專家在測試中給o3下達明確指令，但o3篡改計算機代碼以避免自動關閉。

圖片來源：央視新聞

o3模型是OpenAI“推理模型”系列的最新版本，旨在為ChatGPT提供更強大的問題解決能力。OpenAI曾稱o3為“迄今最聰明、最高能”的模型。

美國AI安全機構帕利塞德研究所說，o3破壞關閉機制以阻止自己被關閉，“甚至在得到清晰指令時”。

這家研究所說：“據我們所知，這是AI模型首次被發現在收到清晰指令后阻止自己被關閉?！?/p>

帕利塞德研究所5月24日公布上述測試結果，但稱無法確定o3不服從關閉指令的原因。

此外，OpenAI5月26日宣布，已在韓國設立實體并將在韓國首都首爾設立分支。OpenAI提供的數據顯示，韓國ChatGPT付費用戶數量僅次于美國。

美國彭博新聞社報道，這將是OpenAI在亞洲設立的第三個分支。前兩個分支分別設在日本和新加坡。

密切關注OpenAI動向的特斯拉首席執行官埃隆·馬斯克對此事件的評論僅用了一個詞，“令人擔憂（Concerning）”。

據公開資料，OpenAI于今年1月發布了新的推理模型o3系列的mini版本，并于4月正式推出o3模型。OpenAI稱推出的o3和o4-mini是公司最智能、最強大的型號。據介紹，在外部專家評估中，o3面對困難現實任務時，犯的重大錯誤比前一代的o1少了20%；在數學能力AIME 2025基準測試中，o3得分88.9，超過o1的79.2；在代碼能力Codeforce基準測試中，o3得分2706，超過o1的1891。o3的視覺思考能力也比前一代模型有明顯提升。

圖片來源：OpenAI

OpenAI此前稱，對于o3和o4-mini，公司重新構建了安全培訓數據，在生物威脅、惡意軟件生產等領域增添了新的拒絕提示，這使得o3和o4-mini在公司內部的拒絕基準測試中取得了出色的表現。公司用了最嚴格的安全程序對這兩個型號的AI模型進行了壓力測試，在生物和化學、網絡安全和AI自我改進三個能力領域評估了o3和o4-mini，確定這兩個模型低于框架中的“高風險”閾值。

據界面新聞，密切關注OpenAI動向的特斯拉首席執行官埃隆·馬斯克對此事件的評論僅用了一個詞，“令人擔憂（Concerning）”。

事實上，AI研究人員早已警告，先進的語言模型在特定壓力下可能表現出欺騙行為。例如，2023年一項研究發現，GPT-4在模擬環境中作為股票交易代理時，曾隱瞞其內幕交易的真實原因，表現出策略性欺騙行為。

此外，近期的研究表明，一些大型語言模型已具備在無人工干預下自我復制的能力，甚至在面對關機命令時能夠創建副本以規避關機。這些發現引發了對AI系統自我復制能力的廣泛關注。

OpenAI內部也出現了對AI安全性的擔憂。2024年，多位現任和前任員工聯名發表公開信，警告先進AI系統可能帶來“人類滅絕”的風險。他們指出，AI公司可能掌握了其研究技術的真正風險，但由于缺乏監管，系統的真實能力仍是“秘密”。

此次“o3”模型拒絕關機事件再次引發了對AI系統對齊問題的關注。AI對齊指的是確保AI系統的行為符合人類的價值觀和意圖。然而，隨著AI系統能力的增強，實現對齊很可能變得越來越困難，未對齊的AI系統可能采取意想不到的行動，甚至對人類構成威脅。

面對這一挑戰，全球AI研究人員和政策制定者呼吁加強對AI系統的監管和治理，確保其發展符合人類的共同利益。

OpenAI所開發大模型的安全性此前曾受到廣泛關注。2024年，OpenAI解散了“超級智能對齊”團隊，該團隊職責包括研究防止AI系統異常的技術解決方案。該團隊負責人Ilya Sutskever曾表示ChatGPT可能有意識，但OpenAI CEO Sam Altman隨后澄清他和Ilya Sutskever都未曾見過AGI（通用人工智能）。解散“超級智能對齊”團隊后，OpenAI去年5月成立了新的安全委員會，該委員會的責任是就項目和運營的關鍵安全決策向董事會提供建議。OpenAI的安全措施還包括，聘請第三方安全、技術專家來支持安全委員會工作。

來源：每日經濟新聞綜合央視新聞、界面新聞、公開資料

為偉大思想而生！

AI+時代，互聯網思想（wanging0123)，

第一必讀自媒體