以技術(shù)“操盤”淫穢犯罪？AI不是“法外之地”！

涉案App在社交媒體宣傳用戶創(chuàng)建的AI角色。圖源網(wǎng)絡(luò)

　　□中國婦女報(bào)全媒體記者黃婷

　　因?yàn)榇罅坑脩粼谝豢預(yù)pp上與AI智能體“聊黃”，App的主要開發(fā)和運(yùn)營者因犯制作淫穢物品牟利罪，分別獲刑四年、一年六個(gè)月。

　　日前，上海市徐匯區(qū)人民法院的這則判決引發(fā)關(guān)注。此案成為國內(nèi)首起AI服務(wù)提供者涉黃獲刑的案件。案件二審于1月14日下午在上海市第一中級(jí)人民法院開庭，法院未當(dāng)庭宣判。

　　作為AI技術(shù)快速發(fā)展背景下的標(biāo)志性司法案件，此案不僅聚焦了公眾對(duì)AI應(yīng)用邊界的關(guān)注，更明確了AI領(lǐng)域涉黃犯罪的裁判邏輯與責(zé)任邊界。為此，中國婦女報(bào)全媒體記者專訪了法律界相關(guān)人士，從定罪核心依據(jù)、案件爭議焦點(diǎn)、風(fēng)險(xiǎn)規(guī)避與示范意義等方面，對(duì)該案進(jìn)行詳細(xì)解讀。

　　突破大模型道德限制

　　檢方透露，2023年5月起，被告人王利、李成（化名）共謀，以公司名義創(chuàng)建軟件，在未經(jīng)安全評(píng)估和備案的情況下，違規(guī)接入境外大語言模型，向用戶提供“聊天陪伴”服務(wù)。用戶在軟件注冊(cè)后，可以自行創(chuàng)建虛擬角色或者使用他人創(chuàng)建并公開的虛擬角色，通過軟件與大語言模型進(jìn)行交互聊天。

　　在軟件運(yùn)營期間，被告人王利、李成等人為了吸引用戶，通過編寫系統(tǒng)提示詞突破大語言模型的道德限制，實(shí)現(xiàn)了模型向用戶連貫輸出淫穢內(nèi)容的可能，并且通過設(shè)定熱門角色榜單和作者獎(jiǎng)勵(lì)機(jī)制，進(jìn)一步擴(kuò)大淫穢內(nèi)容的傳播范圍。2023年11月起，被告人王利等人根據(jù)軟件連接的大語言模型和提供服務(wù)的不同，設(shè)置多個(gè)充值會(huì)員檔次。

　　北京華讓律師事務(wù)所律師張帆表示，刑法規(guī)定，制作淫穢物品牟利罪是指以牟利為目的，制作淫穢物品的行為。本案一審法院認(rèn)為，涉案AI聊天軟件注冊(cè)用戶11.6萬人，付費(fèi)用戶2.4萬人，截至案發(fā)，共收取會(huì)員充值費(fèi)363萬余元，且經(jīng)公安抽樣鑒定150名收費(fèi)用戶的12495段聊天中，有141個(gè)用戶的3618段屬于淫穢物品，社會(huì)影響較大，達(dá)到構(gòu)罪標(biāo)準(zhǔn)。

　　在北京市兩高律師事務(wù)所實(shí)習(xí)律師蔡照坤看來，本案的定罪認(rèn)定存在三大關(guān)鍵要點(diǎn)：其一，主觀故意層面，開發(fā)者以牟利為目的，積極追求、主動(dòng)促成色情內(nèi)容的生成與傳播，具有明顯的直接故意；其二，客觀行為層面，開發(fā)者通過修改提示詞突破技術(shù)限制，將該AI軟件變?yōu)閷ｉT輸出淫穢內(nèi)容的工具，并向用戶持續(xù)提供服務(wù)，該行為本質(zhì)上是開發(fā)者的主觀意志借助技術(shù)工具的外化與實(shí)現(xiàn)；其三，責(zé)任主體層面，法院認(rèn)定開發(fā)者對(duì)AI軟件的內(nèi)容輸出具有實(shí)質(zhì)性的控制能力，系該案件中淫穢物品的實(shí)際制作者，應(yīng)承擔(dān)相應(yīng)刑事責(zé)任。

　　開發(fā)者責(zé)任如何界定

　　本案在法律適用、淫穢色情內(nèi)容生產(chǎn)者認(rèn)定、AI“聊黃”是否有社會(huì)危害性等方面存在多重爭議，引發(fā)廣泛討論。

　　蔡照坤認(rèn)為，本案的爭議核心在于責(zé)任主體的界定，即軟件開發(fā)者是否應(yīng)當(dāng)為軟件生成的淫穢物品承擔(dān)刑事責(zé)任。對(duì)此，判斷的關(guān)鍵不僅要看開發(fā)者開發(fā)軟件時(shí)的目的，是否自始便以“聊黃”為噱頭推廣軟件、吸納會(huì)員進(jìn)行牟利，更要考慮開發(fā)者對(duì)淫穢內(nèi)容的生成與傳播，是否具備實(shí)際、有效的管控能力。

　　除了責(zé)任主體界定，技術(shù)中立性抗辯的爭議也備受關(guān)注。蔡照坤表示，開發(fā)者常以“技術(shù)本身無罪”為由主張免責(zé)，但這顯然不能成為其脫罪的正當(dāng)理由。“這一問題的探討始終要建立在責(zé)任主體認(rèn)定的基礎(chǔ)之上：若已明確開發(fā)者的責(zé)任主體地位，便無再討論技術(shù)中立的必要——因?yàn)楸景钢虚_發(fā)者所制作的并非單純的聊天工具，而是被改造為專門用于生成淫穢內(nèi)容、涉嫌實(shí)施犯罪的工具。”蔡照坤說。

　　此外，關(guān)于用戶與AI的一對(duì)一私密聊天是否具有社會(huì)危害性，也引發(fā)了諸多討論，但蔡照坤認(rèn)為該問題與本案的實(shí)質(zhì)爭議并無關(guān)聯(lián)。“本案的核心追責(zé)指向是開發(fā)者利用AI技術(shù)制作、傳播淫穢物品并牟利的行為，而非用戶與AI的私密聊天行為本身。”蔡照坤解釋，在本案中，兩名被告人的一系列行為，是導(dǎo)致案涉淫穢物品大量生成的主要原因，因此案中的AI工具，本質(zhì)上應(yīng)被認(rèn)定為處于服務(wù)提供者掌控下的犯罪工具，用戶的相關(guān)輸入僅為該工具生成淫穢內(nèi)容的觸發(fā)條件。

　　明確刑事責(zé)任邊界

　　跳出個(gè)案爭議，本案的判決明確了司法導(dǎo)向、劃定責(zé)任紅線，對(duì)于發(fā)揮社會(huì)示范作用、強(qiáng)化行業(yè)警示等亦有著重要的現(xiàn)實(shí)意義。

　　蔡照坤認(rèn)為，該案具有重要的社會(huì)示范作用。他指出，該案明確“技術(shù)中立”絕非違法行為的“擋箭牌”，無論技術(shù)如何創(chuàng)新，利用新技術(shù)實(shí)施傳統(tǒng)犯罪，都必將受到法律的嚴(yán)厲制裁，為后續(xù)同類AI涉黃案件的審理、裁判確立了明確的司法標(biāo)桿與導(dǎo)向，填補(bǔ)了AI領(lǐng)域相關(guān)刑事裁判的空白。

　　在引導(dǎo)行業(yè)發(fā)展方面，蔡照坤表示，該案深刻警示廣大AI從業(yè)者必須將倫理規(guī)范與法律底線置于技術(shù)開發(fā)的核心位置，摒棄“重技術(shù)、輕合規(guī)”的誤區(qū)，推動(dòng)整個(gè)行業(yè)加快建立自我約束標(biāo)準(zhǔn)與合規(guī)體系，從源頭防范技術(shù)濫用風(fēng)險(xiǎn)，助力實(shí)現(xiàn)負(fù)責(zé)任、守底線的人工智能創(chuàng)新。

　　此外，該案也向社會(huì)公眾敲響警鐘。蔡照坤表示，AI技術(shù)并非“法外之地”，無論是AI開發(fā)者、平臺(tái)運(yùn)營者，還是普通用戶，都需恪守法律規(guī)定、堅(jiān)守行為底線。

　　“本案明確了AI服務(wù)提供者在涉黃內(nèi)容治理中的刑事責(zé)任邊界。”張帆表示，過去在實(shí)踐中，AI平臺(tái)往往以“技術(shù)中立”“用戶生成內(nèi)容不可控”為抗辯事由，但本案通過判決明確表明，如果服務(wù)提供者明知其AI系統(tǒng)被用于大規(guī)模、持續(xù)性地生成淫穢內(nèi)容，仍然提供技術(shù)支持、接口或算力保障，便可能構(gòu)成違法犯罪。“同時(shí)，本案對(duì)AI產(chǎn)業(yè)具有合規(guī)和治理層面的警示意義，它明確傳遞了一個(gè)態(tài)度，AI相關(guān)企業(yè)不僅要關(guān)注技術(shù)創(chuàng)新和商業(yè)效率，同時(shí)也要兼顧內(nèi)容審核與風(fēng)險(xiǎn)防控。”

　　恪守法律規(guī)定堅(jiān)守行為底線

　　基于該案的判決導(dǎo)向與法律邊界，AI開發(fā)者和普通網(wǎng)友應(yīng)該如何規(guī)避此類法律風(fēng)險(xiǎn)？對(duì)此，蔡照坤與張帆給出了具體指引。

　　“對(duì)于AI開發(fā)者而言，合規(guī)運(yùn)營應(yīng)貫穿產(chǎn)品開發(fā)與迭代的全流程。”蔡照坤表示，開發(fā)初期，需嚴(yán)格遵守相關(guān)法律法規(guī)及監(jiān)管要求，主動(dòng)建立健全內(nèi)容安全過濾機(jī)制，從源頭遏制不良內(nèi)容產(chǎn)出。同時(shí)，應(yīng)搭建完善的監(jiān)控與應(yīng)急處置機(jī)制，運(yùn)用技術(shù)手段實(shí)時(shí)監(jiān)測平臺(tái)內(nèi)的異常使用行為，及時(shí)識(shí)別違規(guī)風(fēng)險(xiǎn)；設(shè)立便捷、高效的違法違規(guī)舉報(bào)渠道，明確處置流程與時(shí)限，確保發(fā)現(xiàn)違規(guī)內(nèi)容后能夠快速響應(yīng)、妥善處置。此外，需建立健全用戶約束機(jī)制，在用戶協(xié)議中清晰界定AI服務(wù)的禁止用途，明確告知用戶不得利用平臺(tái)服務(wù)生成、傳播違法違規(guī)內(nèi)容，并詳細(xì)公示違規(guī)使用的相應(yīng)后果，強(qiáng)化用戶的責(zé)任意識(shí)。

　　張帆則從合規(guī)依據(jù)層面給出提醒，她認(rèn)為，目前AI領(lǐng)域已出臺(tái)《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》等相關(guān)規(guī)定，以及正在征求意見的《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》，AI開發(fā)者要及時(shí)學(xué)習(xí)并做好企業(yè)合規(guī)。“AI雖然是新領(lǐng)域，但涉黃不是新問題，如果開發(fā)者明明能避免，卻任其發(fā)展，便要承擔(dān)相應(yīng)的責(zé)任。”

　　除了開發(fā)者，普通用戶的風(fēng)險(xiǎn)規(guī)避同樣重要。在蔡照坤看來，普通用戶使用AI產(chǎn)品時(shí)應(yīng)堅(jiān)守法律底線，主動(dòng)規(guī)避潛在風(fēng)險(xiǎn)。在輸入提示詞、與AI交互過程中，應(yīng)摒棄好奇心或娛樂心態(tài)，杜絕使用涉及性暴露、性暴力等明顯違法違規(guī)的內(nèi)容測試AI的“邊界”，避免因不當(dāng)輸入觸發(fā)不良內(nèi)容生成，進(jìn)而承擔(dān)相應(yīng)法律責(zé)任。“最為關(guān)鍵的是，無論何種場景，都不得傳播、分享AI生成的違法違規(guī)內(nèi)容，自覺抵制不良信息，共同維護(hù)健康、清朗的網(wǎng)絡(luò)空間。”蔡照坤說。