衡量生成式人工智能引起的變化

隨著生成式人工智能（GenAI）技術(shù)加速迭代與廣泛滲透，其應(yīng)用場(chǎng)景已從技術(shù)探索階段延伸至日常商業(yè)運(yùn)營(yíng)與個(gè)人生產(chǎn)生活領(lǐng)域，并被用于重構(gòu)整個(gè)政府和行業(yè)的工作流程，這一顛覆性技術(shù)正如同歷史上其他具有變革意義的技術(shù)一樣，在帶來(lái)機(jī)遇的同時(shí)，也可能引發(fā)諸多負(fù)面影響。因此，系統(tǒng)評(píng)估GenAI在社會(huì)與個(gè)人層面的實(shí)際影響顯得尤為必要，這有助于識(shí)別亟需應(yīng)對(duì)的負(fù)面后果，并制定基于實(shí)證的有效政策。2025年1月，卡內(nèi)基國(guó)際和平基金會(huì)發(fā)布了報(bào)告《衡量生成式人工智能引起的變化：奠定基礎(chǔ)》（Measuring Changes Caused by Generative Artificial Intelligence: Setting the Foundations），提出了一套用于評(píng)估GenAI對(duì)信息生態(tài)與輿論環(huán)境實(shí)際影響的方法框架。

一、填補(bǔ)量化研究的知識(shí)空白

在探討這一議題時(shí)，一個(gè)關(guān)鍵問(wèn)題在于公眾對(duì)人工智能的認(rèn)知尚不清晰。不同群體對(duì)人工智能的理解存在差異，導(dǎo)致討論對(duì)象常常被混淆。廣義上，人工智能是一系列使計(jì)算機(jī)能夠執(zhí)行復(fù)雜功能的工具集合。GenAI作為其子集，依托深度學(xué)習(xí)系統(tǒng)，通過(guò)訓(xùn)練數(shù)據(jù)生成高質(zhì)量的文本、圖像等內(nèi)容。鑒于GenAI在內(nèi)容生成中的作用，其已知濫用行為往往與既有技術(shù)（如社交媒體）結(jié)合出現(xiàn)。據(jù)參與研討的研究人員介紹，GenAI已被用于創(chuàng)建虛假賬號(hào)、虛擬頭像和網(wǎng)站等，還有報(bào)道稱其被用于冒充他人、制造誹謗內(nèi)容，或?qū)嵤┙鹑谠p騙和網(wǎng)絡(luò)情感騙局。這些應(yīng)用顯示，GenAI常與其他通信工具協(xié)同使用。信息生態(tài)的碎片化特性，加之對(duì)人工智能活動(dòng)報(bào)道的不足，限制了我們對(duì)GenAI單獨(dú)或與其他技術(shù)結(jié)合時(shí)所發(fā)揮作用的理解。

盡管關(guān)于GenAI濫用威脅的研究論文不斷涌現(xiàn)，但對(duì)其社會(huì)影響的量化研究仍較為缺乏。由于GenAI發(fā)展時(shí)間尚短，現(xiàn)有文獻(xiàn)多聚焦于潛在風(fēng)險(xiǎn)的預(yù)測(cè)，而非實(shí)際觀察到的結(jié)果，且大多基于實(shí)驗(yàn)環(huán)境。然而，實(shí)驗(yàn)所能提供的認(rèn)知有限，現(xiàn)實(shí)情況往往更為復(fù)雜。顯然，盡管GenAI使用引發(fā)的擔(dān)憂已引起社會(huì)廣泛關(guān)注，但對(duì)其影響的系統(tǒng)衡量在學(xué)術(shù)研究中仍屬空白。對(duì)于如何量化由特定GenAI應(yīng)用引發(fā)的可觀測(cè)變化，研究團(tuán)隊(duì)最終總結(jié)了七類主要關(guān)切：

1.醫(yī)療領(lǐng)域（包括將人工智能用于診斷、自我診斷及醫(yī)療記錄）；

2.法律體系（包括人工智能輔助案件準(zhǔn)備以及可能出現(xiàn)的人工智能生成證據(jù)）；

3.各類詐騙行為；

4.人工智能生成的兒童性剝削材料（CSAM）；

5.自然災(zāi)害期間的信息流（包括快速傳播的準(zhǔn)確信息與錯(cuò)誤信息）；

6.選舉過(guò)程（包括準(zhǔn)確或誤導(dǎo)性信息的傳播）；

7.生成未經(jīng)同意的私密媒體。

雖然討論主題和衡量方法差異顯著，但最終參與者的意見(jiàn)聚焦于四個(gè)基礎(chǔ)性問(wèn)題。回答這些問(wèn)題將對(duì)設(shè)計(jì)實(shí)驗(yàn)與方法至關(guān)重要，以便衡量在特定領(lǐng)域中因使用GenAI而引發(fā)的變化。

二、四個(gè)基礎(chǔ)性問(wèn)題

（一）哪些檢測(cè)方法可靠可用？

研究人員普遍認(rèn)為，首要問(wèn)題是能否檢測(cè)出某一內(nèi)容是否由GenAI生成。目前雖存在多種潛在檢測(cè)方法，但其在大規(guī)模應(yīng)用中的可靠性仍需進(jìn)一步驗(yàn)證。現(xiàn)有方法主要分為三類，前兩類作用于內(nèi)容生成后，第三類則嵌入生成過(guò)程之中。

1.感知檢測(cè)法依賴人工判斷內(nèi)容真實(shí)性，例如識(shí)別人工智能生成人臉的面部不對(duì)稱、眼睛異常，或察覺(jué)視頻與音頻不同步。但這種方法實(shí)際上把檢測(cè)負(fù)擔(dān)轉(zhuǎn)嫁給用戶和調(diào)查人員，且隨著生成內(nèi)容質(zhì)量提高，檢測(cè)難度會(huì)進(jìn)一步加大。

2.計(jì)算檢測(cè)法借助技術(shù)手段進(jìn)行識(shí)別，例如使用機(jī)器學(xué)習(xí)分類器或虛假內(nèi)容數(shù)據(jù)庫(kù)，但兩類方法在可靠性與擴(kuò)展性上均存在差異。

3.第三類方法側(cè)重于追溯內(nèi)容來(lái)源，試圖將輸出關(guān)聯(lián)至生成源頭。一種常見(jiàn)提議是對(duì)內(nèi)容添加標(biāo)簽或水印，以標(biāo)識(shí)其為人工智能生成。該方法將來(lái)源驗(yàn)證機(jī)制嵌入合成內(nèi)容生成流程，通過(guò)數(shù)字水印使內(nèi)容可追溯至特定生成引擎。另一種方法是開(kāi)發(fā)來(lái)源驗(yàn)證技術(shù)，以證明某一媒體非人工智能生成且與聲稱內(nèi)容一致。非人工智能生成內(nèi)容的來(lái)源驗(yàn)證可參考“內(nèi)容真實(shí)性倡議”，該計(jì)劃制定了端到端技術(shù)規(guī)范，用于驗(yàn)證內(nèi)容真實(shí)性，并推動(dòng)采集設(shè)備與應(yīng)用程序支持“內(nèi)容憑證”。

然而，這兩類方法均存在局限。水印易被偽造、移除或忽略，而對(duì)開(kāi)源模型等非主流GenAI服務(wù)，來(lái)源驗(yàn)證機(jī)制也難以有效實(shí)施。此外，若將來(lái)源驗(yàn)證作為可信度標(biāo)準(zhǔn)，可能強(qiáng)化主流GenAI提供商的主導(dǎo)地位，導(dǎo)致模型單一化與權(quán)力進(jìn)一步集中。這些挑戰(zhàn)都將為衡量GenAI引發(fā)的變化增加難度。

（二）應(yīng)以何種基準(zhǔn)衡量變化？

從本質(zhì)上講，變化是指事物狀態(tài)與以往相比產(chǎn)生了差異。要衡量變化，就必須觀察到可察覺(jué)的改變，這需要以之前的狀態(tài)為基準(zhǔn)，評(píng)估后續(xù)狀態(tài)是否發(fā)生變化及其程度。然而，若過(guò)去未對(duì)相關(guān)信息進(jìn)行系統(tǒng)整理，或需衡量如公眾情緒等難以量化的因素，基準(zhǔn)數(shù)據(jù)的收集就會(huì)變得困難。有時(shí)還需多個(gè)基準(zhǔn)，使研究更為復(fù)雜。

在某些領(lǐng)域，基準(zhǔn)對(duì)比相對(duì)容易。例如，詐騙案例與經(jīng)濟(jì)損失在GenAI出現(xiàn)前就已有追蹤，可通過(guò)對(duì)比當(dāng)前詐騙成功數(shù)量與已報(bào)告損失，衡量是否出現(xiàn)增長(zhǎng)。盡管在釣魚(yú)郵件等場(chǎng)景中全面識(shí)別GenAI的應(yīng)用存在挑戰(zhàn)，但仍可單獨(dú)分析偽造圖像、音頻或視頻詐騙。而在其他領(lǐng)域，設(shè)定基準(zhǔn)則更為困難。例如，盡管多項(xiàng)研究指出GenAI可能擴(kuò)大虛假信息或影響力操作的規(guī)模，但要衡量其加劇程度，仍需以該技術(shù)出現(xiàn)前的活動(dòng)規(guī)模為基準(zhǔn)。目前相關(guān)案例研究仍零散片面，亟需綜合分析確立基準(zhǔn)。因此，回答這一問(wèn)題可能需要設(shè)定多個(gè)基準(zhǔn)而非單一指標(biāo)。

（三）所研究的系統(tǒng)是復(fù)雜的還是相對(duì)可控的？

在探索衡量方法時(shí)，需明確信息系統(tǒng)是相對(duì)可控（輸入與變量較少）還是復(fù)雜龐大（變量與子系統(tǒng)多且相互影響）。相對(duì)可控的系統(tǒng)更便于衡量，尤其是在有常規(guī)記錄GenAI使用的情況下。例如，法院系統(tǒng)是典型相對(duì)可控的系統(tǒng)，因其通常具備長(zhǎng)期記錄，有利于設(shè)定基準(zhǔn)進(jìn)行比較。可通過(guò)記錄研究人工智能生成或篡改證據(jù)是否增加冤錯(cuò)案，監(jiān)測(cè)GenAI應(yīng)用后使用媒體信息作為證據(jù)的案件，識(shí)別GenAI使用痕跡并對(duì)比案件結(jié)果變化；還可對(duì)比GenAI出現(xiàn)前后因證據(jù)偽造獲無(wú)罪判決的比例，評(píng)估使用GenAI準(zhǔn)備文書(shū)對(duì)案件結(jié)果的影響，例如要求相關(guān)方說(shuō)明GenAI使用情況再對(duì)比案件結(jié)果。相反，復(fù)雜系統(tǒng)變量更多，各技術(shù)與子系統(tǒng)相互作用、共同影響整體，且數(shù)據(jù)所有權(quán)與研究途徑高度分散。例如，分析社會(huì)或民主制度等復(fù)雜系統(tǒng)的變化時(shí)，研究人員無(wú)法像在法院系統(tǒng)研究中那樣依賴單一渠道，而必須評(píng)估多個(gè)甚至相互矛盾的信息來(lái)源。因此，研究GenAI在復(fù)雜系統(tǒng)中引發(fā)的變化挑戰(zhàn)更大，在設(shè)計(jì)實(shí)驗(yàn)或研究方案時(shí)必須充分考慮這些因素。

（四）系統(tǒng)的復(fù)雜程度如何，該如何考量其復(fù)雜性？

系統(tǒng)的復(fù)雜程度取決于其中影響結(jié)果的關(guān)聯(lián)因素?cái)?shù)量。這種復(fù)雜性既體現(xiàn)在技術(shù)層面，也反映在人文層面。技術(shù)上，GenAI與社交媒體等其他技術(shù)交互作用，使其影響難以單獨(dú)剝離；人文上，多種因素交織作用，導(dǎo)致無(wú)法明確GenAI與其他社會(huì)政治因素在人類決策中各自的作用。引發(fā)變化的可能不僅是GenAI本身，而是它與多種技術(shù)結(jié)合的結(jié)果，而許多技術(shù)在信息環(huán)境變化中的作用也尚未得到充分認(rèn)識(shí)。除技術(shù)因素外，人們對(duì)GenAI的諸多關(guān)切還涉及人類決策，無(wú)論是在危機(jī)情境還是政治活動(dòng)中。因此，回答這一問(wèn)題需跨專業(yè)團(tuán)隊(duì)協(xié)作。此類研究可能帶來(lái)極高價(jià)值，但我們絕不能低估其復(fù)雜性。

三、結(jié)論

即使在理想條件下，衡量信息環(huán)境中某一因素的影響也非易事，但我們?nèi)孕鑴?wù)實(shí)推進(jìn)并明確目標(biāo)。GenAI應(yīng)用越直接、所引發(fā)的變化越具體，就越容易有效衡量其影響。若GenAI在復(fù)雜系統(tǒng)中僅是眾多流程之一，尤其當(dāng)該系統(tǒng)還影響其他復(fù)雜系統(tǒng)時(shí)，衡量其變化將更為困難。封閉系統(tǒng)中的GenAI應(yīng)用較易衡量，而復(fù)雜系統(tǒng)則因變量眾多，難以明確其具體影響。要開(kāi)展可信且有價(jià)值的研究，需回答四個(gè)基礎(chǔ)問(wèn)題：如何可靠檢測(cè)GenAI生成內(nèi)容、如何確定衡量變化的基準(zhǔn)、所研究系統(tǒng)是復(fù)雜還是可控、如何評(píng)估并降低系統(tǒng)復(fù)雜性的影響。隨著GenAI技術(shù)發(fā)展和更多服務(wù)商進(jìn)入該領(lǐng)域，深入了解其在信息生態(tài)系統(tǒng)中的作用變得尤為關(guān)鍵。這四個(gè)基礎(chǔ)問(wèn)題為后續(xù)研究指明了方向，有助于解決GenAI社會(huì)影響的識(shí)別與衡量難題。本文所提出的研究路徑也可供研究人員參考，并為政策制定者評(píng)估相關(guān)衡量工作的質(zhì)量提供依據(jù)。

免責(zé)聲明：本文轉(zhuǎn)自啟元洞見(jiàn)。文章內(nèi)容系原作者個(gè)人觀點(diǎn)，本公眾號(hào)編譯/轉(zhuǎn)載僅為分享、傳達(dá)不同觀點(diǎn)，如有任何異議，歡迎聯(lián)系我們！

轉(zhuǎn)自丨啟元洞見(jiàn)

研究所簡(jiǎn)介

國(guó)際技術(shù)經(jīng)濟(jì)研究所（IITE）成立于1985年11月，是隸屬于國(guó)務(wù)院發(fā)展研究中心的非營(yíng)利性研究機(jī)構(gòu)，主要職能是研究我國(guó)經(jīng)濟(jì)、科技社會(huì)發(fā)展中的重大政策性、戰(zhàn)略性、前瞻性問(wèn)題，跟蹤和分析世界科技、經(jīng)濟(jì)發(fā)展態(tài)勢(shì)，為中央和有關(guān)部委提供決策咨詢服務(wù)。“全球技術(shù)地圖”為國(guó)際技術(shù)經(jīng)濟(jì)研究所官方微信賬號(hào)，致力于向公眾傳遞前沿技術(shù)資訊和科技創(chuàng)新洞見(jiàn)。

地址：北京市海淀區(qū)小南莊20號(hào)樓A座

電話：010-82635522

微信：iite_er