孟令宇、王迎春 ：探索人工智能倫理審查新范式

探索人工智能倫理審查新范式

孟令宇 王迎春

(上海人工智能實驗室治理研究中心)

摘要:近年來，我國科技倫理審查工作日益受到重視。傳統的以生命醫學倫理為基礎的倫理審查范式，在應用于人工智能等新興技術時面臨挑戰。文章分析了人工智能技術的特點，闡述了其對傳統倫理審查模式的沖擊，并總結了業內先行的實踐策略對審查范式創新的啟示。基于此，文章提出人工智能倫理審查范式創新需從理論、職能和方法三個維度進行：在理論上，主張采用美德倫理學，強調品德養成；在職能上，拓展倫理委員會的職責；在方法上，發展技術工具實現技術與倫理的有機融合。

關鍵詞：人工智能，倫理審查，倫理（審查）委員會，范式創新

中圖分類號:B82文獻標識碼:A

DOI:10.19524/j.cnki.10-1009/g3.2023.04.097

近年來，科技倫理的審查工作引起了國家的高度關注。2019年7月，中央全面深化改革委員會第九次會議上審議通過了《國家科技倫理委員會組建方案》。同年10月，國家倫理委員會正式成立，下設人工智能專委會。2021年12月《關于加強科技倫理治理的指導意見》在中央全面深化改革委員會第二十三次會議上審議通過，文中強調“開展科技活動應進行科技倫理風險評估或審查。涉及人、實驗動物的科技活動，應當按規定由本單位科技倫理（審查）委員會審查批準，不具備設立科技倫理（審查）委員會條件的單位，應委托其他單位科技倫理（審查）委員會開展審查。”2022年9月初，深圳市出臺國內首部人工智能產業專項立法《深圳經濟特區人工智能產業促進條例》，該條例規定，市政府應建立人工智能倫理委員會，履行各種職責，如研究和制定人工智能領域的倫理和安全標準，并發布人工智能倫理和安全實踐指南。9月底，上海市發布人工智能省級法規《上海市促進人工智能產業發展條例》，其中提出要順應人工智能快速迭代的特點，設立人工智能倫理專家委員會并履行一系列的人工智能倫理治理相關職責。2023年2月，《2023上海人工智能安全倫理倡議書》發布，第一條就提出要建設上海市人工智能專家倫理委員會。9月7日，《科技倫理審查辦法（試行）》正式發布，其中特別規定“從事生命科學、醫學、人工智能等科技活動的單位，研究內容涉及科技倫理敏感領域的，應設立科技倫理（審查）委員會。”可以看出，探索人工智能倫理審查新范式已成為一個亟待解決的重點問題。需要強調的是，人工智能倫理審查需要范式創新，即從理論框架到方法模型全方位創新而非僅僅改變方式方法，以及一些具體的操作手段。人工智能倫理審查范式創新應該保留傳統范式的積極因素，并在此基礎上進行適應人工智能技術特點的創新。

一、傳統的倫理審查范式

考慮到科技發展的風險性，對其進行倫理規范勢在必行。然而，倫理規范需要強有力的制度支持才能有效運作。倫理審查是倫理規范作用于科技研究的重要制度保證。

倫理規范的制度化構成可以從兩條路徑追溯：其一可以追溯到早期的行業工會，主要表現為行業準則和行業標準。1856年，德國工程師協會成立，它致力于通過技術手段的開發和有效應用改進人類的生存條件，承擔工程師的培養、繼續教育以及給政府、議會和社會提供咨詢等方面的工作 [1]。1866年，蒸汽鍋爐操作員在曼海姆成立了德國蒸汽鍋爐監督協會，旨在為生產設備提供安全保障，也就是如今大名鼎鼎的德國技術監督協會（TüV）的前身。1950年德國工程師協會制定了《工程師的聲明》，并于2002年在此基礎上制定實施了《工程職業的倫理守則》。這一守則被譽為“德國技術倫理學制度化的最好的闡釋”。可以看出，德國對于科研活動的倫理向度的制度化管理前后歷經150余年，最終形成了一份良好的倫理守則。但這與如今常見的倫理審查存在一定差異，缺少完整的制度，更多的是類似行業標準。

其二可以追溯到生命醫學倫理，也就是現在普遍施行的科技倫理審查機制。生命醫學倫理最早可以追溯到《希波克拉底誓言》，那時的生命醫學倫理也是一種職業倫理。但在此后的近2000年中生命倫理的制度化進程幾乎是停滯的。這種情況直至20世紀40年代開始發生轉變。在二戰結束后的紐倫堡審判中，納粹德國的醫生和生命科學家被指控對集中營中的戰俘進行了慘無人道的人體實驗，為了杜絕此類暴行再次發生，《紐倫堡法典》誕生了。《紐倫堡法典》規定了人體實驗的基本原則，作為國際上進行人體實驗的行為規范流傳至今。在《紐倫堡法典》中人類的核心價值得到了彰顯，對人權的保護更是其重中之重。《紐倫堡法典》在頒布之后不久，就被51個國家承認接受，并在之后的十幾至二十年間逐漸成為許多專業機構和政府條例的范本，其精神為《世界人權宣言》所吸收。1964年，世界醫學協會發表《赫爾辛基宣言》，作為《紐倫堡法典》的補充，進一步規范了生命科學的發展。值得一提的是，該宣言在之后的世界醫學協會聯合大會上進行過多次修訂，召開倫理委員會批準人體實驗研究方案就是在《赫爾辛基宣言》的第一次修訂中寫入的，也是倫理審查制度首次被寫入國際指南 [2]。自此，生命倫理學以及倫理審查制度進入了高速發展期。

20世紀中后葉，生物醫學領域被爆出了一系列丑聞，如柳溪乙肝試驗、塔斯基吉梅毒試驗等，引起了公眾對于醫療試驗的恐慌。在這種情況下，為了滿足公眾的呼吁，消除恐慌，美國政府成立了保護參加生物醫學和行為學研究人體實驗對象的全國委員會。該委員會試圖對如何保護生物醫學及行為研究中的人體受試者提出切實可行的建議，明確適用所有人體研究的基本倫理原則，以及如何在研究中貫徹執行。1978年該協會發布了《貝爾蒙報告》，闡述了人體研究的倫理原則、醫療與醫學研究的界限等問題。由世界衛生組織設立的國際醫學科學組織理事會（CIOMS）制定的涉及人類受試者的生物醫學研究國際倫理指南也規定了倫理委員會的要求。CIOMS指南于1993年首次發布，雖沒有法律效力，但它們在起草國家倫理委員會法規方面具有影響力。

《紐倫堡法典》《赫爾辛基宣言》《貝爾蒙報告》等文件奠定了生命醫學倫理審查的原則基礎，這些文件的內容后來被匯總成為生命醫學倫理學的四大原則，即尊重自主原則、不傷害原則、有利原則和公正原則。生命醫學倫理學四大原則如今已經超出生命醫學研究的范疇而成為幾乎所有涉及人類受試者（參與者）的研究的倫理審查的基本原則。我國首部倫理審查體系的認證標準是2014年12月批準的《涉及人的生物醫學研究倫理審查體系要求》，其中的審查規定就體現了生命醫學倫理學四大原則的精神。

二、大模型時代人工智能倫理審查的新挑戰

對于現行的倫理審查制度有很多批評的聲音，尤其是社會科學學者對此尤為不滿。來自新西蘭的兩位社會學學者提出“基于社群的參與式研究”（Community-Based Participatory Research，CBPR）作為一種新的研究范式已經在多個領域推廣，然而這種研究范式卻幾乎不具備得到以新西蘭倫理委員會（NZEC）為代表的主流倫理審查委員會認可的能力 [3]。英國學者也指出對于社會科學方法的非臨床研究來說，當下的倫理審查制度提出了錯誤的問題，并將研究置于錯誤的標準 [4]。“研究倫理委員會通常熟悉的方法基準以及構成質量評估基礎的方法基準不符合許多形式的定性調查的目的和目標，也不符合其描述社會過程/機制和使社會實踐的復雜性可見的更繁復的目標。”[5]作為批判性研究倫理審查制度的專著，《道德誘惑》提出當下的倫理審查制度是基于生物醫學對研究的理解 [6]。在倫理審查的壓力下，社會科學方法的多樣性和豐富性正在下降[7]。

所有這些對倫理審查制度的批判說明了一個早在20世紀就曾被指出過的問題，即任何倫理準則總是離不開其背后的歷史背景和學科背景的 [8]。與社會科學的情況類似，人工智能的倫理審查與生命科學的倫理審查有一定的相似性，但也不盡相同，這主要是人工智能技術的特殊性造成的。正如寶拉·波登頓（Paula Boddington）所說“人工智能提出的一些問題與其他問題是共同的……但是，考慮人工智能中是否存在任何獨特的道德問題也是很重要的，因為如果我們僅僅面對一系列非常廣泛的道德問題，而這些問題沒有關注人工智能的具體情況，我們最終可能會得到對具體情況缺乏足夠把握以產生實質性影響的準則和原則。”[9]一些學者認為生物醫學倫理仍然提供了有價值的起點，只需要進行輕微調整或重新解釋即可延伸到人工智能領域[10]。但是，生命科學和人工智能之間存在的重大差異，引發我們對現有倫理框架適用性的質疑[11]。湯姆·比徹姆（Tom Beauchamp）和詹姆斯·邱卓思（James Childress）提出的四原則倫理學圍繞人的生命權利而設計[12]，而脫離人類主觀偏見與死亡風險的智能體需要全新的倫理規范體系。在簡單地將生物醫學倫理原則應用到人工智能領域之前，倫理學家有必要仔細重新審視人工智能中諸如黑箱、復雜因果關系以及公平性等核心概念。

傳統的生命醫學倫理審查主要關注的是對生命的尊重，包括保護個人隱私，保證知情同意，以及避免對個體造成傷害等。然而，這種倫理審查的框架在面對人工智能可能會遇到一些問題和挑戰。隨著ChatGPT的發布，人工智能研究已經步入大模型時代，這將進一步加深人工智能研究與傳統倫理審查之間的鴻溝。

首先，最重要的是，大模型的黑箱性質，增加了審查其決策過程及結果的難度，這與生命醫學倫理強調的程序透明度存在張力。黑箱是當前主流的人工智能技術——深度學習的本質特征，這意味著人類無法調查算法，也就是說，它們是認知不透明的系統，任何人類或人類群體都無法仔細檢查以確定其內部狀態 [13]。通常，黑箱算法不遵循眾所周知的規則（例如，布爾決策規則算法），但可以用標記數據“訓練”以識別數據中的模式或相關性，從而可以對新數據進行分類。即使我們聲稱理解了控制算法的底層標簽和數學原理，但仍然很復雜，甚至不可能聲稱對此類系統的內部工作有深入了解 [14]。

因此，與生命醫學基于現實的因果性不同，人工智能是基于概率的相關性。換句話說，藥物或手術對人體的干預是可預期、可觀察和可解釋的，而深度學習對數據的訓練僅僅在基本架構的邏輯關系上是存在相關關系的，很難以一種日常使用的因果關系去解釋。如果它出現了錯誤，這個錯誤不僅可能會非常離譜，而且可能根本無法找到導致這一錯誤的原因。卡內基梅隆大學是人工智能領域的傳統強校，在教師之間的非正式調查中，絕大多數人表示，不使用深度學習等人工智能方法的首要原因是他們不知道如何解釋結果 [15]。當下人工智能的評測方法主要是通過評測數據集來進行。這些評測數據集通常包含了針對特定任務采集并標注的輸入-輸出樣例對[16]。研究人員會訓練出滿足特定任務要求的AI系統，然后利用評測數據集對系統性能進行量化評估[17]。目前常見的評測數據集包括圖像分類、語音識別、機器翻譯等領域的基準測試集。這些數據集的質量直接影響了對AI系統能力的評判[18]。近年來，隨著技術的進步，研究者也越來越重視評測數據集的多樣性[19]、案例覆蓋范圍[20]等方面的考量。一些競賽平臺也會圍繞特定任務發布新的評測基準和排行榜（Leaderboard）[21]。總體來說，評測數據集仍是當前主流的AI系統評估方式，但其本身也面臨一些挑戰，如測試用例的代表性[22]、人工標注帶來的偏差[23]等。

這些挑戰導致傳統的倫理審查范式對于人工智能不適用，因為研究者既不可能基于確定的因果性完全預測人工智能技術的風險，也不可能在出現風險后以標準的流程來修正或解決，只能根據研究者的個人經驗來調整算法結構以期輸出合適的結果。因此，與生命醫學倫理審查更注重事前審查不同，對于人工智能來說事中以及事后審查往往更加重要，設立敏捷的事中和事后審查是確保人工智能健康發展的必由之路。

其次，在傳統的生命醫學倫理審查中，當研究結果產生負面影響時，責任通常歸屬于研究者。然而，在AI系統中，當系統做出錯誤的決策或者造成傷害時，責任歸屬可能會變得模糊。例如，如果AI系統被用來生成虛假的新聞或者惡意的信息，那么責任應該歸屬于誰？是設計AI系統的公司，還是使用AI系統的人，或者是提供訓練數據的人？這被稱為“責任空白”問題，安德烈亞斯·馬蒂亞斯（Andreas Matthias）提出，“傳統上，機器的制造商/操作員（在道德和法律上）應對其操作的后果負責。基于神經網絡、遺傳算法和代理架構的自主學習機器創造了一種新的局面，在這種情況下，機器的制造商/操作員原則上不再能夠預測未來的機器行為，因此無法對其承擔道德責任。社會必須決定是不再使用這種機器（這不是一個現實的選擇），還是面臨責任鴻溝，這是傳統的責任歸屬觀念無法彌補的。”[24]隨著人工智能技術的應用場景不斷增加，在多個場景下都會可預見地面臨這一問題，例如自動駕駛汽車版本的電車難題。

第三，在生命醫學研究中，研究者需要確保他們的研究方法公平，不會對任何群體產生歧視。然而，人工智能技術是一項賦能技術，它能夠增強完成任務的速度和效率、擴展原領域（技術）的影響力和范圍，使得原來被隱藏的倫理問題再次引起人們的關注。最具代表性的是算法歧視問題。算法歧視本質上放大和強化了現有的、有意或無意的社會歧視。算法通過“貼標簽”的運算原理，不可避免地將顯性或隱性的偏見嵌入其中，從而放大了現有的偏見。開發者在認識和解釋世界的過程中所帶有的偏見，也會影響到算法的設計。日常生活中的數據往往包含人類社會固有的隱性偏見，這些偏見在算法訓練過程中被植入，其中許多消極的偏見通過決策算法轉化為對人的算法歧視 [25]。

此外，知情同意是傳統生命醫學倫理審查中的核心原則之一，它要求參與研究的個體必須在事先被充分告知研究目的、程序、風險等信息的基礎上自愿同意參與。但是，大模型時代人工智能訓練的數據來源往往廣泛地散落在互聯網各處，由于數據的來源廣泛且復雜，獲取每一個數據生成者的知情同意幾乎是不可能的。并且，每一個數據對模型和數據主體產生的具體影響也是不可追溯的，如果遵循傳統的知情同意審查模式，大模型發展將寸步難行。因此，亟須進行人工智能倫理審查范式革新，提供在大模型訓練中合理應用知情同意原則，保護數據提供者權益的新制度。

與傳統生命醫學研究不同，大規模的人工智能模型訓練往往需要大量用戶數據，這使得數據隱私保護面臨巨大挑戰。大模型訓練使用的數據可復制性強、傳播范圍廣，一旦泄露，造成的隱私危害將遠超生物樣本。且數據加密也面臨被破解的風險。可以說，依靠傳統生命醫學倫理審查的方法很難有效地保護大模型訓練中使用數據的隱私安全。這需要我們構建新的倫理規范，在算法設計、數據采集、模型訓練等各個階段強化對個人隱私的保護，實現人工智能技術的倫理化發展。

三、人工智能倫理審查的實踐探索與啟示

基于人工智能技術的特殊屬性，傳統的倫理審查模式在此領域中并不適用，人工智能的倫理審查面臨種種挑戰，但保障人工智能和倫理健康發展已經成為全世界共識。如何推動人工智能倫理從原則到落地已成為世界范圍內的重要議題。如果人工智能倫理僅停留在理論和原則層面將不可避免被詬病為“倫理洗藍”。因此各方正積極探索一種新的、符合人工智能技術發展趨勢的倫理審查方式。如何以制度形式保障人工智能的合倫理性將是倫理審查范式革新的核心議題。國內外如OpenAI、谷歌、微軟和商湯等代表性大公司，由于其非政府機構的主體性質優勢，成功地率先推出了一些創新性的審查實踐，選擇了一條“原則引領，流程監管，技術工具輔助”的道路，這為人工智能倫理審查范式創新提供了重要的實踐案例參考。

目前克服理論和實踐之間的差距主要有三種方法，分別是倫理嵌入、倫理對齊和價值敏感設計[26]。這里所說的倫理嵌入不是理論上的倫理嵌入，而是一種實踐向的方法，由斯圖爾特·麥克倫南（Stuart McLennan）等人提出，指的是倫理學家和開發者從開發伊始就通過迭代和持續的過程共同解決倫理問題 [27]。這種方法通過讓倫理學專家加入研發團隊，融入具體設計過程，對方案進行持續倫理評估。同時，通過為工程師提供道德培訓，將道德納入人工智能工程過程中。谷歌、微軟等公司的實踐探索在一定意義上就屬于倫理嵌入。谷歌內部對于AI倫理審查構建了一個三層的治理組織架構，第一層是產品團隊本身，他們提供符合AI原則的深層次功能專業知識；第二層是一組專門的審查機構和專家小組，鼓勵所有谷歌員工在整個項目開發生命周期中參與AI原則審查過程，審查所有項目的潛在隱私問題，還包括為特定產品領域量身定制的審查委員會；第三層是先進技術審查委員會（ATRC），這是一個由高級產品、研究和業務主管組成的輪值委員會，處理升級和最復雜的先例案例。在整個體系中，谷歌使用類似“判例法”的方式，作為審查標準的是谷歌人工智能原則，包括七條積極的原則和四條消極的原則 ①。此外，谷歌還開發了很多幫助倫理審查的技術性工具，例如Responsible AI with TensorFlow。與谷歌類似，微軟的人工智能倫理審查所依托的組織是以太委員會（Aether）、負責任 AI 辦公室 （ORA） 和負責任AI戰略工程管理團隊 （RAISE）。Aether幫助微軟的高級領導層就負責任的人工智能問題、技術、流程和最佳實踐作出決策。ORA通過推進微軟的治理和公共政策工作，為負責任的 AI 制定公司范圍內的規則。RAISE定義并執行跨工程團隊的負責任 AI 的工具和系統策略，他們正在開發一組基于 Azure ML 構建的工具和系統。

倫理嵌入的優勢是能夠將倫理規范嵌入人工智能產品開發的全過程，能及時發現具體倫理問題，但缺點是可能受專家個人觀點和偏見影響較大，以及責任模糊等問題。技術發展過程中的情境倫理問題決定了這種嵌入式倫理方法所指的具體實踐的資格。倫理嵌入的方法指出，創新和探索性實踐總是會引發倫理問題，并且在具體的工程過程中會出現新的倫理問題，即在人工智能技術的發展過程中總會有特定情境的倫理問題，這啟示我們在人工智能倫理審查范式創新中可以引入一個多主體參與的內部倫理審查機制，通過讓倫理學專家參與研究過程，與研究人員保持交流、增進了解，進行倫理評估。

倫理對齊指在人工智能系統的設計和運作中，使其行為與人類共同的倫理價值觀達成一致。其核心目標是賦予AI系統對倫理規范的認知和遵循能力，防止出現違反倫理的決策和行為[28]。IEEE就倫理對齊設計提出了詳盡指南，強調需要考量透明度、可解釋性、公平性等方面，并提供可驗證的倫理保證[29]。與此同時，OpenAI也將價值對齊視為其安全AI研究的重要方面，通過強化學習等方式使AI內在動機符合人類共同利益[30]。實現倫理對齊的主要技術路線包括：OpenAI使用的基于人類反饋的強化學習(RLHF)，通過獎勵模型使模型輸出結果與人類期待相符，使模型在實際任務中更加實用和安全 [31]。Anthropic使用的來自人工智能反饋的強化學習（RLAIF），利用AI的反饋作為獎勵信號來訓練偏好模型，能夠更精確地控制模型的行為，減少對人類標簽的依賴，并使模型能夠更好地處理有害的查詢 [32]。這些方法都有各自的側重點，但當前還停留在理論和試驗階段，無論是OpenAI還是Anthropic都承認這是一種技術手段，并非最終的解決方案。盡管如此，倫理對齊還是對人工智能倫理審查范式創新提供了重要參考，那就是使用技術手段和技術工具來輔助倫理審查。

價值敏感設計是一種在技術設計過程中主動考量倫理價值的方法論[33]。它以“設計就是價值的實現”為核心理念，通過概念分析、參與式設計和技術實證相結合的方式，在功能性、可用性的同時兼顧倫理性[34]。第一步概念分析，通過哲學反思厘清復雜的倫理價值觀念；第二步參與式設計，讓相關利益方參與技術設計過程，表達其價值偏好；第三步技術實證，通過原型設計和用戶測試驗證設計方案。這種方法論的優點在于從一開始就考量倫理因素，融合多學科視角。但其缺點也明顯，如難以在復雜利益關系中達成價值共識，過于理想化而難落地等。這一方法啟示我們在創新人工智能倫理審查范式時，必須充分考慮這一跨文化價值沖突的現實，采取開放和包容的方式吸收不同觀點，以避免單一標準導致的道德風險。

值得說明的是，谷歌曾在2019年3月26日短暫地成立過一個先進技術外部咨詢委員會（ATEAC）用以應對人工智能倫理風險問題。然而，這個委員會的壽命僅僅只有9天，在內外部的雙重壓力下被迫解散。這是一個失敗的案例，但同時這個過程也發人深省。這一事件引起了廣泛的關注，《麻省理工科技評論》組織專家對此事撰文探討，其中加州理工大學倫理與新興科學小組主任帕特里克·林（Patrick Lin）認為：“如果對獲得道德指導有真正的興趣，那么你需要真正的倫理學家——在理論和應用倫理方面接受過專業培訓的專家。否則，這將是對專業價值的拒絕。想象一下，如果公司想召集一個 AI 法律委員會，但其中只有一名律師（就像 AI 倫理委員會 v1.0 中只有一名哲學家一樣），這將是引發嚴重危險的信號。”[35]圣克拉拉大學互聯網道德項目主任伊琳娜·賴庫（Irina Raicu）也提出：“一年四次會議不太可能產生影響，我們需要敏捷的道德投入”[35]。可以看出，人們期待人工智能的倫理審查來自真正倫理學家的敏捷治理。

各國政府也高度重視人工智能的倫理安全問題，陸續出臺法律法規應對人工智能的倫理安全挑戰，緊抓戰略發展機遇。2023年6月14日歐洲議會通過了《人工智能法案》，要求對人工智能進行風險評估。10月30日，美國總統拜登簽署通過《安全、可靠和可信賴的開發和使用人工智能》的行政命令，要求對人工智能展開新的安全評估與指導。歐盟的《人工智能法》雖然強調了倫理的重要性，但并未明確規定具體的倫理審查流程和標準。美國的《安全、可靠和可信賴的開發和使用人工智能》行政命令雖然提出了人工智能安全和安保的新標準，但對于如何具體執行這些標準并未做出明確規定。而這些恰恰是最關鍵的問題，也就是人工智能倫理審查的具體細節。

總之，人工智能的倫理審查是一項區別于傳統生命醫學倫理審查的復雜而重要的任務，需要多學科多主體的共同參與。同時，目前任何一個主體的任何一種單一的方法都無法完全解決這個難題，需要結合不同的理論和實踐，尋找有效的方法不斷完善和優化倫理審查機制，以確保人工智能的健康發展。

四、以美德倫理為基礎的倫理審查新范式展望

人工智能倫理審查的范式創新一方面要打破傳統倫理審查范式以生命科學為核心而忽略了其他學科研究訴求的桎梏，另一方面也要考慮人工智能的技術特點和風險特征。需要強調的是，人工智能倫理審查范式創新是在傳統倫理審查范式的基礎上探索適用于人工智能技術的審查范式，而非對傳統倫理審查范式的徹底否定，是革新而非革命。考慮到人工智能技術的技術特點和風險特征以及已有重要的實踐案例，人工智能倫理審查新范式可以從理論創新、職能創新和方法創新這三個方面進行。在理論上，可探索以美德倫理學為基礎，關注研究者倫理素養培育。在職能上，倫理委員會可拓展為倫理培訓和治理功能。在方法上，可發展技術工具和指標為倫理審查提供支持，并推動價值敏感設計，實現技術倫理融合。

首先，人工智能倫理審查范式創新需要從第一原則構建新的倫理基礎，而不是試圖適應傳統的生物醫學倫理審查，即進行理論創新，進一步，理論創新將帶動審查標準創新。傳統的倫理審查以規范倫理學作為理論基礎，新的倫理審查范式應當突破這一桎梏，本文主張以美德倫理作為理論基礎。一方面，隨著倫理學的發展，考慮到規范倫理學的種種弊病，美德倫理的復歸已成大勢所趨。另一方面，在對傳統倫理審查范式的批判中美德倫理不止一次被提及。例如斯蒂芬·雅各布斯（Stephen Jacobs）和艾倫·阿珀利（Alan Apperley）建議建立一種以美德倫理為基礎的新的倫理審查范式，因為以結果主義倫理學方法為基礎的生物倫理模型傾向于關注“我們對他人做了什么，并傾向于忽視僅僅作為一名研究者的更廣泛的道德和社會責任”[36]。同樣，安娜莉·雅西（Annalee Yassi）等人也提出研究倫理委員會不僅應在健康研究中注重保護個人完整性和人類尊嚴，還應考慮社會正義等現實問題[37]。

事實上，從理論上分析，對于人工智能，美德倫理的確是比義務論或后果論更為合適的理論基礎。與生命醫學倫理學四原則不同，美德倫理學注重個體品格培養和社會責任擔當，強調技術與倫理的融合。亞里士多德認為行為主體需要實踐智慧，在復雜情境中作出合乎“中道”的技術應用和倫理判斷，實現普遍意義上的善。這更符合人工智能技術場景多樣且風險難以預判的特點。因此，人工智能倫理審查可考慮采用美德倫理學作為理論基礎，強調研究者品德培育和技術倫理融合。

對于亞里士多德的美德倫理學來說，要熟練某項技藝，行為主體必須能夠在異常的情況下不借助某種精確的操作指南來進行技能訓練，這需要行為主體具備某種洞察力 [38]。這種洞察力就是明智或實踐智慧。根據亞里士多德的理論，技藝的德性在于適度，即“中道”。在人工智能領域格外需要這一點，例如醫療影像圖像識別中假陰性與假陽性之間的取舍問題。技藝行為與德性行為同樣受實踐智慧指導，某種意義上來說技藝行為是德性行為的前階段。“技藝行為需要更高道德目標的約束，德性行為也需要結合技藝行為的認知能力和理性選擇。”[39]具體在人工智能領域，一個有德性的人工智能研究者既需要過硬的技術水平來確保人工智能實現工具性的目的善，也應當有道德能力使其符合一種普遍意義上的善。

隨著基礎理論的轉變，人工智能倫理審查新范式下的審查標準也自然需要發生轉變，需要摒棄傳統的根植于功利主義和道義論的結合體以生命醫學為實踐場景而制定的審查標準。人工智能技術一方面由于黑箱特性，具有很強的風險不確定性，需要在實踐中逐步加深對其的認識，另一方面作為賦能技術而具有豐富的應用場景，因此制定人工智能倫理審查新范式下的審查標準需要充分考慮不確定性和場景特殊性。這與亞氏對與技藝相關的明智的論述是極其相似的，“在五種理智德性里面，明智是最難通過教與學直接獲得的，而是需要通過大量經驗的積累才能獲得”[40]。谷歌的“判例法”方法是一種類似的嘗試。本文建議或許可以采用風險清單而非確定標準的模式，引入社會實驗、沙盒治理等工具，一邊積累對技術風險的認識，一邊最大限度地避免其風險造成的社會影響。在長期實踐形成的經驗的基礎上逐步形成相對確定標準，并以這些標準反哺人工智能倫理，讓研究者從長期的“最佳實踐”中培養明智和道德德性，實現“中道”，實現美德倫理的追求。

其次，從現有的實踐案例來看，人工智能倫理審查范式創新將帶來職能創新，拓展倫理（審查）委員會的職能，而不僅僅將其局限于倫理審查。在高度不確定性下，以義務論和后果輪為理論基礎的倫理審查很容易流于表面，正如谷歌倫理委員會的前車之鑒。倫理審查和倫理委員會不應成為科技公司市場運營的噱頭，而應當真正做一些實事。美德倫理學認為對于人類的道德實踐活動而言，重要的是培養穩定的道德品質，而不是為人們編撰一套行為規范。道德實踐活動都是情境性的，而一般的行為規范都忽略了各種情境的特殊性，這也使得道德行為規范的實用意義大打折扣。對于人工智能來說尤為如此，其賦能技術的特點注定了其應用場景的豐富性，而在每一個具體的應用場景確保人工智能合倫理則是人工智能倫理審查的終極目的。在美德倫理的指引下，人工智能倫理審查新范式不局限于審查工作，應當對現有的審查進行改革，采用更開放性的審查，也就是說人工智能倫理審查委員會需要承擔更多責任。

正如前文所述，倫理規范的制度化是存在兩條路徑的，倫理審查范式創新應當對兩條路徑兼收并蓄，避免現有倫理審查制度過于狹隘的缺陷，繼承行業工會路徑中承擔工程師的培養、繼續教育以及給政府、議會和社會提供咨詢等方面工作的責任。這與美德倫理的要求也是一致的。美德倫理關注人，一個有道德的人是需要訓練的，實踐智慧需要一類與眾不同的認知洞察力，這種理性能力需要一種綜合、評估和規范的訓練[41]。因而實現倫理培訓、倫理生態建設等功能也將成為倫理審查委員會的重要職責。

此外，多主體參與、多學科，技術專家與倫理專家共同合作也非常重要。倫理審查需要綜合型、復合型人才。自希波克拉底誓言開始，樸素的醫學倫理知識便融入在醫學教育中，而在人工智能領域還很鮮見。因而培養跨學科跨領域的人才參與人工智能倫理審查是范式創新的必然結果，也是美德倫理學的要求。美德倫理學注重人的品質，一個有德性的人是具有實踐智慧的，這意味著他能在紛繁復雜的實踐中持續穩定地彰顯著自身的德性，即做出道德和倫理的選擇。而對于人工智能技術來說，培養一批具有實踐智慧的研究者是在不確定性的環境下使研究更加道德和合倫理的明智之舉。

最后，人工智能倫理審查需要方法創新，軟硬結合成為人工智能審查新范式的新特點。無論是谷歌、微軟還是商湯都開發了工具來增強人工智能的公平性、隱私性等，打造可信的、負責任的人工智能。事實上，可信人工智能、價值敏感設計等研究方向已經成為科技倫理和人工智能技術共同的前沿方向。因此，未來新的人工智能倫理審查范式也必然是順應這一趨勢的，以軟硬結合為特點，用技術去打開人工智能的黑箱，幫助人們理解人工智能，從而更好地使人工智能合倫理。在美德倫理的指導下，一方面將倫理審查的原則與標準與技術相結合，開發有助于倫理審查的技術工具和指數標準，使倫理審查的理論和標準技術化、工程化；另一方面促進開發者的倫理素養培養，推動價值敏感設計，努力在全流程將倫理價值嵌入、整合在技術中。Morley等人所提出的“倫理即服務”（Ethics as a Service，EaaS）概念[42]便是一個很好的例子。

五、結 論

綜上所述，從當下倫理審查的困境以及人工智能的倫理審查創新實踐這兩方面綜合來看，人工智能的倫理審查亟須范式創新。人工智能倫理審查的范式創新需要從理論創新、職能創新和方法創新三個角度來進行，以理論創新支撐職能創新，以職能創新助推方法創新，以方法創新反哺理論創新，形成符合人工智能技術發展規律、符合人工智能技術特點的倫理審查范式，從而促進人工智能可持續健康發展。

① 1七條積極的原則是：（1 ）對社會有益；（2 ）避免制造或者加深不公平的偏見；（3 ）在開發中進行測試以確保安全；（4 ）對人類負責；（5 ）隱私原則；（6 ）堅守對卓越科學的追求；（7 ）在使用中考慮首要用途、技術的獨特性及適用性、使用的規模這三個因素。四條消極原則是指Google 不會在以下領域設計或部署 AI：（1 ）造成或可能造成傷害的技術：在有風險隱患的前提下，我們只會在我們認為益處遠遠大于風險的時候繼續，并將納入適當的安全限制；（2 ）武器或其他技術：即主要目的或實施是造成或直接促進對人們的傷害的技術；（3 ）收集或使用信息進行監視的技術：即違反國際公認的規范的技術；（4 ）違反普遍接受的國際法和人權原則的技術。來源：Google AI. 2021 AI Principles Progress Update. https://ai.google/static/documents/ai-principles-2021-progress-update.pdf

參考文獻

郭玉山, 趙長根. 德國工程師協會. 全球科技經濟瞭望, 2001(2): 39. DOI: 10.3772/j.issn.1009-8623.2001.02.018.

Riis P. Letter from. Denmark. Planning of scientific-ethical committees. British Medical Journal, 1977, 2(6080): 173.

Marlowe J, Tolich M. Shifting from research governance to research ethics: A novel paradigm for ethical review in community-based research. Research Ethics, 2015, 11(4): 178-191. DOI: 10.1177/1747016115579536.

Burr J, Reynolds P. The wrong paradigm? Social research and the predicates of ethical scrutiny. Research Ethics, 2010, 6(4): 128-133. DOI: 10.1177/174701611000600404.

[5]

Stevenson F A, Gibson W, Pelletier C, et al. Reconsidering ‘ethics’ and ‘quality’in healthcare research: the case for an iterative ethical paradigm. BMC medical ethics, 2015, 16(1): 1-9. DOI: 10.1186/1472-6939-16-1.

[6]

Van den Hoonaard W C. The seduction of ethics: Transforming the social sciences. University of Toronto Press, 2011.

[7]

Gontcharov I. Methodological crisis in the social sciences: The New Brunswick Declaration as a new paradigm in research ethics governance?. Transnational Legal Theory, 2013, 4(1): 146-156. DOI: 10.5235/20414005.4.1.146.

[8]

Shuster E. Fifty years later: the significance of the Nuremberg Code. New England Journal of Medicine, 1997, 337(20): 1436-1440. DOI: 10.1056/NEJM199711133372006.

[9]

Boddington P. Towards a code of ethics for artificial intelligence. Cham: Springer, 2017: 27.

[10]

Zhou J, Chen F. AI ethics: From principles to practice. AI & SOCIETY, 2022: 1?11.

[11]

Morley J, Floridi L, Kinsey L, et al. From what to how: an initial review of publicly available AI ethics tools, methods and research to translate principles into practices. Science and engineering ethics, 2020, 26(4): 2141-2168. DOI: 10.1007/s11948-019-00165-5.

[12]

Beauchamp T, Childress J. Principles of biomedical ethics: marking its fortieth anniversary. The American Journal of Bioethics, 2019, 19(11): 9-12. DOI: 10.1080/15265161.2019.1665402.

[13]

Humphreys P. The philosophical novelty of computer simulation methods. Synthese, 2009, 169(3): 615-626. DOI: 10.1007/s11229-008-9435-2.

[14]

Durán J M, Jongsma K R. Who is afraid of black box algorithms? On the epistemological and ethical basis of trust in medical AI. Journal of Medical Ethics, 2021, 47(5): 329-335.

[15]

Holm E A. In defense of the black box. Science, 2019, 364(6435): 26-27. DOI: 10.1126/science.aax0162.

[16]

Szegedy C, Zaremba W, Sutskever I, et al. Intriguing properties of neural networks. arXiv preprint arXiv:, 1312, 6199: 2013.

[17]

He K, Zhang X, Ren S, et al. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification//Proceedings of the IEEE international conference on computer vision. 2015: 1026?1034.

Stock P, Cisse M. Convnets and imagenet beyond accuracy: Understanding mistakes and uncovering biases//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 498?512.

Geirhos R, Temme C R M, Rauber J, et al. Generalisation in humans and deep neural networks. Advances in neural information processing systems, 2018, 31.

Nagarajan P, Warnell G, Stone P. Deterministic implementations for reproducibility in deep reinforcement learning. arXiv preprint arXiv:, 1809, 05676: 2018.

[21]

Russakovsky O, Deng J, Su H, et al. Imagenet large scale visual recognition challenge. International journal of computer vision, 2015, 115: 211-252. DOI: 10.1007/s11263-015-0816-y.

[22]

Torralba A, Efros A A. Unbiased look at dataset bias//CVPR 2011. IEEE, 2011: 1521-1528.

[23]

Tommasi T, Patricia N, Caputo B, et al. A deeper look at dataset bias. Domain adaptation in computer vision applications, 2017: 37-55.

[24]

Matthias A. The responsibility gap: Ascribing responsibility for the actions of learning automata. Ethics and information technology, 2004, 6(3): 175-183. DOI: 10.1007/s10676-004-3422-1.

[25]

孟令宇. 從算法偏見到算法歧視: 算法歧視的責任問題探究. 東北大學學報（社會科學版）, 2022, 24(1): 1-9.

[26]

Bleher H, Braun M. Reflections on Putting AI Ethics into Practice: How Three AI Ethics Approaches Conceptualize Theory and Practice. Science and Engineering Ethics, 2023, 29(3): 21. DOI: 10.1007/s11948-023-00443-3.

[27]

McLennan S, Fiske A, Tigard D, et al. Embedded ethics: a proposal for integrating ethics into the development of medical AI. BMC Medical Ethics, 2022, 23(1): 6. DOI: 10.1186/s12910-022-00746-3.

[28]

Shahriari K, Shahriari M. IEEE standard review—Ethically aligned design: A vision for prioritizing human wellbeing with artificial intelligence and autonomous systems//2017 IEEE Canada International Humanitarian Technology Conference (IHTC). IEEE, 2017: 197?201.

[29]

Russell S. Human compatible: Artificial intelligence and the problem of control. Penguin, 2019.

[30]

OpenAI. OpenAI Charter. https://openai.com/charter/. Published April 9, 2018

[31]

Ziegler D M, Stiennon N, Wu J, et al. Fine-tuning language models from human preferences. arXiv preprint arXiv:, 1909, 08593: 2019.

[32]

Bai Y, Kadavath S, Kundu S, et al. Constitutional ai: Harmlessness from ai feedback. arXiv preprint arXiv:, 2212, 08073: 2022.

[33]

Friedman B, Kahn P H, Borning A, et al. Value sensitive design and information systems. Early engagement and new technologies: Opening up the laboratory, 2013: 55?95.

[34]

Van de Poel I. Translating values into design requirements. Philosophy and engineering: Reflections on practice, principles and process, 2013: 253?266.

[35]

Bobbie Johnson, Gideon Lichfield. Hey Google, sorry you lost your ethics council, so we made one for you. 2019. https://www.technologyreview.com/2019/04/06/65905/google-cancels-ateac-ai-ethics-council-what-next/ [2023-2-16]

[36]

Jacobs S, Apperley A. Risk-Aversion or Ethical Responsibility? Towards a New Research Ethics Paradigm. 2018.

[37]

Yassi A, Breilh J, Dharamsi S, et al. The ethics of ethics reviews in global health research: case studies applying a new paradigm. Journal of Academic Ethics, 2013, 11(2): 83-101. DOI: 10.1007/s10805-013-9182-y.

[38]

Annas J. Intelligent virtue. Oxford: Oxford University Press, 2011: 12?20.

[39]

孟偉, 楊之林. 技藝與德性中的實踐智慧——基于亞里士多德倫理學與當代倫理學自然主義的比較. 道德與文明, 2020(1): 64-68.

[40]

劉瑋. 亞里士多德論技藝與德性. 哲學動態, 2019(10): 75-84.

[41]

Hacker-Wright J. Skill, practical wisdom, and ethical naturalism. Ethical Theory and Moral Practice, 2015, 18(5): 983-993. DOI: 10.1007/s10677-015-9566-8.

[42]

Morley J, Elhalal A, Garcia F, et al. Ethics as a service: a pragmatic operationalisation of AI ethics. Minds and Machines, 2021, 31(2): 239-256. DOI: 10.1007/s11023-021-09563-w.

Exploring a New Paradigm for AI Ethical Review

MENG Ling-yu

WANG Ying-chun

（Governance Research Center, Shanghai Artificial Intelligence Laboratory）

Abstract:In recent years, more and more attention has been paid to the ethical review of science and technology in China. The traditional ethical review paradigm based on biomedical ethics is facing challenges when applied to emerging technologies such as artificial intelligence. This paper analyzes the characteristics of artificial intelligence technology, expounds its impact on the traditional ethical review model, and summarizes the enlightenment of the industry's leading practice strategy on the innovation of the review paradigm. Based on this, this paper proposes that the innovation of AI ethical review paradigm should be carried out from three dimensions: theory, function and method. In theory, the article advocates the adoption of virtue ethics, emphasizing the cultivation of morality, and in function, expanding the responsibilities of the ethics committee. In terms of methods, we should develop technical tools to achieve the organic integration of technology and ethics.

Keywords:AI, ethical review, ethics (review) committees, paradigm innovation

作者簡介：

孟令宇，上海人工智能實驗室治理研究中心青年研究員，研究方向為科技倫理、人工智能倫理;

王迎春，上海人工智能實驗室治理研究中心研究員，研究方向為人工智能倫理治理與創新。

項目資助：

科技創新2030——“新一代人工智能”重大項目（2022ZD0160103），受上海人工智能實驗室資助。