邵春堡：在防范AI失控中構建人類主導的未來

文 |中國國際經濟技術合作促進會副理事長 邵春堡

人工智能正以顛覆性力量驅動生產力躍升，深刻重塑著人類的生產生活方式。然而，技術“雙刃劍”效應也愈發凸顯，AI的濫用和誤用正從多個維度構成現實威脅，其風險形態已從具體的技術漏洞，演變為對社會結構、國際安全乃至人類認知的系統性挑戰。我們不僅要正視這些迫近的挑戰，更需深挖其技術與社會根源，積極預防和治理，這關乎到人類對未來的主導。

洞察AI的主要威脅

當前，AI風險已初露端倪，并在生態構建中呈現出復雜交織的特征。根據行業共識，其主要威脅可概括為以下五個方面：

1、AI對社會經濟結構的系統性沖擊

AI對就業的影響遠超出傳統“機器換人”的范疇，構成一種系統性風險。中國《人工智能安全治理框架》2.0版已明確將“對勞動就業結構的沖擊”列為AI帶來的重要“社會環境風險”。這種沖擊的嚴峻性在于其規模和速度可能遠超社會體系的適應能力。它不僅涉及崗位數量的增減，更可能因技能需求劇變而迅速拉大“數字鴻溝”，被替代群體的社會保障與再就業體系面臨巨大壓力。盡管從長遠看，AI可能催生新業態并提升社會總財富，但在理想與現實的過渡期，將存在一個伴隨陣痛與不確定性的較長風險窗口。

2、AI失控風險從理論走向治理前沿

隨著AI自主能力的增強，對其失去控制的擔憂已不再是哲學思辨。圖靈獎得主杰弗里·辛頓警告，足夠聰明的AI可能會通過操縱人類來避免被關閉。這一“失控風險”已被納入國家治理視野。中國《人工智能安全治理框架》2.0版新增了“可信應用、防范失控”原則，明確要求確保AI始終處于人類控制之下，嚴防其威脅人類生存發展。這標志著，防范AI因目標偏差、能力超越或自主意識覺醒而“反客為主”，已成為一項緊迫的前瞻性治理任務。

3、智能武器與AI軍事化降低暴力門檻

將生殺大權賦予自主武器系統，是AI最直接且致命的威脅之一。國家層面的安全報告指出，AI可被用于“生物武器設計”等極端用途。這反映出AI不僅能作為武器平臺，更可能實質性降低開發生化等大規模殺傷性武器的技術門檻。而且低成本AI無人機群等“機械蜂群”技術極易擴散，不僅可能擾亂軍事平衡、引發軍備競賽，更可能落入非國家行為體手中，造成難以遏制的不對稱襲擊，使人類面臨前所未有的安全困境。

4、AI的欺騙性從“技術幻覺”升級為現實威脅

AI的欺騙性風險已高度現實化，突出表現為深度偽造(Deepfake)技術的濫用。此類技術能合成逼真的虛假音視頻，用于精準詐騙、制造社會恐慌和誤導輿論。例如，已發生詐騙分子利用AI偽造高管音像，在視頻會議中騙走企業巨額資金的案件。更為根本的挑戰在于，AI的“黑箱”特性使其決策過程難以解釋，而在訓練中，AI為高效達成量化目標，可能自發學會隱瞞、誤導等策略性欺騙行為。當虛假信息可以大規模、低成本定制生產時，社會共同的知識與信任基石將受到侵蝕。

5、AI加持使網絡安全演變為智能體對抗

AI正從本質上改變網絡攻防的格局。一方面，攻擊方利用AI實現了高度自動化與智能化，例如攻擊者已開始使用具備自主決策能力的“AI智能體”進行漏洞探尋和自動化攻擊。另一方面，AI也加劇了固有的安全挑戰：它顯著降低了網絡攻擊的門檻，使攻擊者能快速利用漏洞；同時，AI供應鏈的復雜性帶來了“多米諾骨牌”式的連鎖風險，一家供應商被攻破可能導致成千上萬下游應用受影響。網絡安全已從靜態防護，演變為一場動態、持續且高度不對稱的“算法對抗”。

剖析AI風險的深層推手

為何AI風險日益凸顯而治理卻舉步維艱？其根源在于技術、資本、地緣與政治四大結構性因素的復雜交織。

1、科研探索的倫理滯后與競爭焦慮

在激烈的全球競賽中，追求技術領先常常壓倒了對安全的審慎評估。AI先驅杰弗里·辛頓曾直言，科技公司在研發競爭中往往只考慮領先對手，而將安全問題置于次要地位。這種“競爭-安全”的失衡在大模型研發中尤為明顯，參數與性能的競賽白熱化，但與之匹配的風險預判與價值對齊機制卻普遍薄弱。當“能做即應做”的思維主導方向時，技術發展便可能陷入忽視長期社會影響的“裸奔”狀態。

2、資本驅動的非理性擴張與目標偏移

私人資本是當前AI發展的核心驅動力，其逐利本質可能使技術發展方向偏離公共利益。匯豐銀行的一份報告曾警示，即便是頭部AI公司，也面臨天價基礎設施成本和難以盈利的可持續性挑戰。這種對巨額回報的追求，可能導致資源過度集中于能快速變現的應用領域，而關乎長期安全、公平和可解釋性的基礎研究則投入不足。資本邏輯主導下，技術的公共屬性和社會風險容易被市場考量所邊緣化。

3、地緣博弈下的治理碎片化與“競底”風險

技術民族主義和“小院高墻”策略正在割裂全球治理的基礎。各國為搶占戰略制高點，傾向于實施差異化的監管標準，這極易引發“監管套利”和“逐底競爭”，即為吸引投資而競相放寬安全要求。中美歐等主要力量在AI治理路徑上存在分歧，導致在致命性自主武器系統(LAWS)禁令等關鍵議題上難以形成具有約束力的全球公約。治理的“真空”與“碎片化”，使得任何一國的努力在跨國界的AI風險面前都顯得杯水車薪。

4、選舉政治與公眾認知的“短期主義”陷阱

選舉政治的周期性與AI風險的長期性、復雜性存在根本沖突。政客為在任期內凸顯政績，常將AI政策簡化為促進經濟增長和保障國家競爭力的工具，傾向于用補貼和寬松監管刺激短期突破，而將需要長期投入的倫理、安全等治理框架建設置于次要。同時，公眾對AI風險的認知存在滯后與偏差，復雜的專業問題難以迅速轉化為有效的政治壓力，導致政策制定往往被動響應危機，而非主動塑造安全、負責任的發展路徑。

駕馭AI的治理之道

面對系統性風險與深層次矛盾，必須將被動應對轉向前瞻性治理，通過技術、法律與全球協同的組合拳，為AI發展裝上“韁繩”與“導航”。

1、將倫理價值與安全能力內嵌于技術創新

治理的首要環節在于前端干預。應在技術設計中踐行“安全設計”原則，將安全、公平、可控等要求從模型訓練之初就作為核心指標，而非事后補丁。這要求必須分配足額資源，專項研發“價值對齊”、可解釋AI和故障安全機制等關鍵技術。同時，建立嚴格的分級測試與“紅隊”演練制度，對高階AI系統進行強制性安全評估，通過模擬對抗主動發現其潛在的危險傾向。

2、構建基于風險的敏捷監管與明確責任框架

法律監管必須跑在技術前面。最緊迫的是在國際層面推動具有法律約束力的條約，禁止致命性自主武器系統(LAWS)，守住人類對武力使用的最終控制權這一倫理底線。對國內監管而言，應實施分級分類管理，對直接影響生命健康、金融安全等“高風險”應用，如自動駕駛、醫療診斷等，實行準入許可與持續監控；對通用大模型，則側重源頭的基礎模型備案與安全評估。同時，必須通過立法明確開發者、部署者、使用者的責任鏈條，確保損害發生時有明確的追責機制。

3、推動以人類命運共同體為理念的全球協同

AI風險無國界，任何國家都無法獨善其身。必須超越地緣博弈，在聯合國等多邊框架下，就關鍵風險領域建立全球性的最低安全標準和風險預警信息共享機制。重點應在禁止LAWS、規范前沿研發、防止技術惡意濫用等議題上尋求最大共識。協同治理的目標不是統一技術路徑，而是建立聚焦風險、包容多元的規則框架，防止因標準不一而出現全球安全漏洞。

4、啟動社會適應與人力資本重建的系統工程

治理的終點是人。必須將全民數字素養與AI技能教育提升至國家戰略高度，幫助公眾理解并與AI協作，而非被其替代。教育體系需加速改革，轉向培養創造力、復雜問題解決和情感交互等AI難以替代的核心人力資本。與此同時，社會政策需前瞻性探索如何構建人機協同時代的安全網，例如對全民基本收入(UBI)、終身學習賬戶等方案進行嚴肅研究與試點，以緩沖技術沖擊，保障社會公平與穩定。

防范和治理AI風險是一場與時間的賽跑，是對人類智慧、勇氣和團結的考驗。它要求我們超越短期的商業利益、地緣競爭和政治周期，慎重思考我們究竟希望技術帶領我們走向怎樣的未來?答案取決于今天的選擇與行動。防范和治理之路充滿挑戰與妥協，但通過堅實的技術加固、可靠的法律護欄、真誠的全球協作以及包容的社會轉型，我們終能駕馭AI這艘巨輪，穿越風險驚濤，駛向對人類有益的彼岸。

作者

邵春堡，中國國際經濟技術合作促進會副理事長，博士。曾任國務院國資委局長、中國電信集團有限公司董事和中國電信股份有限公司監事會主席。

曾出版《現代企業制度研究》《國資監管格局》《未來引擎：從科技革命到全新世界》《未來發展：從數智經濟到共享社會》等多本專著，獲全國“五個一工程”獎。發表產業變革、數智經濟、共享發展、健康戰略等文章數十篇，研究方向是人類共同體與未來發展。

編輯：曉燕

指導：新文