“AI換臉”之禍

“一個案例勝過一打文件。”為充分發(fā)揮典型案例示范指導(dǎo)、規(guī)范引領(lǐng)和價值導(dǎo)向作用，福建省高級人民法院和福建省廣播影視集團(tuán)聯(lián)合打造《熱案大家談》節(jié)目，重點(diǎn)圍繞群眾關(guān)切、企業(yè)關(guān)注、行業(yè)關(guān)心的重點(diǎn)熱點(diǎn)案件，采取新聞事件回顧和專家學(xué)者訪談的方式，開展故事性、實(shí)用性、服務(wù)性兼具的以案釋法、融情議理，以事關(guān)民生的小案例展現(xiàn)司法為民大作為，營造尊法學(xué)法守法用法的濃厚氛圍。

節(jié)目以每兩周一期的頻次，于周五晚19：30在福建電視臺新聞頻道《現(xiàn)場》欄目播出。福建高院新媒體平臺同步推送，歡迎關(guān)注。

第三十一期

讓我們一起來關(guān)注

《“AI換臉”之禍》

隨著AI換臉技術(shù)的迭代升級，人臉識別這道曾被視為 “安全屏障” 的防線，正面臨前所未有的挑戰(zhàn)。當(dāng)我們刷臉支付、刷臉登錄時，是否想過這張獨(dú)一無二的生物ID，也可能被輕易“盜用”？泉州市鯉城區(qū)就發(fā)生了一起利用“AI換臉”技術(shù)，突破平臺人臉識別系統(tǒng)的新型犯罪案件。這起案件背后隱藏著怎樣的技術(shù)和法律風(fēng)險？跟著鏡頭，一起去一探究竟。

泉州的小伙傅某

初中畢業(yè)就迷上了網(wǎng)絡(luò)

大部分時間都泡在網(wǎng)上

是一名資深網(wǎng)絡(luò)“玩家”

對AI、黑客技術(shù)這些新鮮玩意兒

特別感興趣

然而，技術(shù)的“酷”很快變了味

隨著傅某在一些網(wǎng)絡(luò)社群里小有名氣

開始有陌生人主動找上門來

請他“幫個小忙”

2023年，隨著AI技術(shù)的不斷升級

傅某在網(wǎng)上發(fā)現(xiàn)了一條“生財(cái)之道”

利用“AI換臉”技術(shù)

幫助他人繞過平臺的人臉驗(yàn)證

傅某說，剛開始他的“客戶”還僅限于

需要大量賬號的短視頻從業(yè)者

因?yàn)槠脚_限制一人一號

還需要人臉識別

傅某的技術(shù)正好“解決”了這個“難題”

傅某利用自己的技術(shù)

先是在未經(jīng)他人同意的情況下

擅自使用他人照片

通過軟件技術(shù)手段

幫助客戶成功注冊某平臺企業(yè)員工賬號

兩千余個

獲利人民幣七千元

此后，傅某的技術(shù)“口碑”在灰色地帶傳開

業(yè)務(wù)也隨之升級，有人找上門

希望他能突破某酒類申購平臺的

人臉識別門檻

盡管多了幾道程序

但對于傅某來說

并不是什么難事

就這樣，短短一個多月的時間里

他利用AI換臉視頻幫助客戶

通過相關(guān)微信小程序的人臉驗(yàn)證

超過90單

并從中獲利人民幣2萬元

直到東窗事發(fā)

程序異常引起了銷售商的警覺

警方隨即介入調(diào)查

通過技術(shù)手段溯源

很快就鎖定了傅某

2023年8月，傅某被公安機(jī)關(guān)抓獲

同年被泉州市鯉城區(qū)檢察院以

“非法控制計(jì)算機(jī)信息系統(tǒng)罪”提起公訴

2023年12月，泉州市鯉城區(qū)人民法院

公開開庭審理了這起案件

此案的焦點(diǎn)在于：

法律應(yīng)如何定性這種

利用AI技術(shù)“欺騙”系統(tǒng)的行為？

傅某的行為

是構(gòu)成“侵犯公民個人信息罪”

還是“非法控制計(jì)算機(jī)信息系統(tǒng)罪”呢？

法院經(jīng)審理認(rèn)為

傅某通過專門軟件改變了

手機(jī)系統(tǒng)原本調(diào)用攝像頭的正常方式

強(qiáng)制系統(tǒng)讀取預(yù)設(shè)視頻

實(shí)現(xiàn)替換攝像頭的功能

本質(zhì)上是對計(jì)算機(jī)信息系統(tǒng)的干擾和控制

符合非法控制計(jì)算機(jī)信息罪的構(gòu)成要件

根據(jù)《刑法》第二百八十五條

第二款規(guī)定

采用其他技術(shù)手段

非法控制計(jì)算機(jī)信息系統(tǒng)的

構(gòu)成非法控制計(jì)算機(jī)信息系統(tǒng)罪

法院認(rèn)為

傅某使用軟件干擾平臺人臉識別

繞過活體檢測的行為

屬于“其他技術(shù)手段”

最終，泉州市鯉城區(qū)人民法院

判處傅某有期徒刑三年

并處罰金五千元

違法所得予以沒收

從沉迷技術(shù)的“玩家”

到游走法律邊緣的“達(dá)人”

最終淪為身陷囹圄的罪犯

傅某的經(jīng)歷是一條清晰的墜落軌跡

此案為技術(shù)濫用者敲響了法律的警鐘

也撕裂了“刷臉即安全”的固有認(rèn)知

AI技術(shù)本身沒有對錯

關(guān)鍵在于使用者的選擇

當(dāng)技術(shù)創(chuàng)新遭遇法律紅線時

唯有堅(jiān)守合規(guī)底線，尊重技術(shù)邊界

才能讓科技真正服務(wù)于社會

大家談

問：在本案中，傅某通過AI換臉，幫助客戶非法注冊各種賬號，欺騙購酒平臺的人臉認(rèn)證非法獲得購酒資格。法院如何定性這種利用AI換臉進(jìn)行犯罪的行為，面對這種新型犯罪手段，法院主要依據(jù)哪些法律來進(jìn)行判決？

答：本案中，傅某系通過專門軟件改變了手機(jī)系統(tǒng)原本調(diào)用攝像頭的正常方式，強(qiáng)制系統(tǒng)讀取預(yù)設(shè)視頻，實(shí)現(xiàn)替換攝像頭的功能，本質(zhì)上是對計(jì)算機(jī)信息系統(tǒng)的干擾和控制，符合非法控制計(jì)算機(jī)信息系統(tǒng)罪的構(gòu)成要件。

我們法院對該案主要適用刑法第285條第二款關(guān)于“違法國家規(guī)定，采用其他技術(shù)手段，對國家事務(wù)、國防建設(shè)、尖端科學(xué)技術(shù)領(lǐng)域以外的計(jì)算機(jī)信息系統(tǒng)實(shí)施非法控制的”，構(gòu)成非法控制計(jì)算信息系統(tǒng)罪”的規(guī)定，對傅某進(jìn)行判決。

當(dāng)然，傅某在實(shí)施上述犯罪行為的同時亦觸犯刑法關(guān)于“侵犯公民個人信息罪”的規(guī)定，與前罪系屬目的和手段關(guān)系，在刑法上稱為“牽連犯”，在本案，法院選擇更重前罪判處。

問：隨著AI技術(shù)的快速發(fā)展，可以預(yù)見的是，利用或?yàn)E用AI技術(shù)從事違法犯罪的活動也會日益增多，在打擊治理“AI犯罪”這一方面，我們法院有哪些相對應(yīng)的措施？

答：面對日益增多的“AI犯罪”挑戰(zhàn)，我們法院正在從三方面著手應(yīng)對：

一是堅(jiān)持依法嚴(yán)懲，筑牢法律防線。嚴(yán)格適用現(xiàn)行法律，對利用AI實(shí)施的各類犯罪，做到精準(zhǔn)打擊、罪責(zé)刑相適應(yīng)。同時，也會密切關(guān)注新型犯罪形態(tài)，通過證據(jù)規(guī)則的適用和案件裁判尺度的統(tǒng)一，確保依法精準(zhǔn)打擊新類型犯罪。

二是強(qiáng)化協(xié)同治理，形成打擊合力。打擊“AI犯罪”不能僅靠法院。我們正積極推動與公安、檢察院、行政等部門的協(xié)同聯(lián)動，建立起數(shù)據(jù)共享、線索移交、會商研判的快速通道，加大全鏈條打擊力度。

三是延伸審判職能，加強(qiáng)司法預(yù)警。法院通過發(fā)布典型案例、走進(jìn)社區(qū)、校園普法等方式，揭示“AI犯罪”的手法和危害，提升全社會的防范意識和辨別能力，從源頭上壓縮犯罪空間。

問：這幾年可以說是AI技術(shù)的爆發(fā)期，越來越多的人在工作生活中開始享受到AI帶來的全新體驗(yàn)，但伴隨而來的可能就有AI技術(shù)被利用后的各種風(fēng)險。請教粟代表，類似AI換臉，AI變聲這類的新技術(shù)，如果被人利用，給我們生活以及社會可能帶來哪些具體風(fēng)險和危害？

答：這些風(fēng)險非常現(xiàn)實(shí)且具體。我認(rèn)為主要有兩個方面的危害：

第一，最直接的影響是公民權(quán)益受到侵害。最典型的是不法分子利用AI變聲、換臉冒充親友或領(lǐng)導(dǎo)進(jìn)行視頻通話進(jìn)行詐騙。還有利用“AI換臉”技術(shù)惡意拼接視頻損害他人名譽(yù)權(quán)和肖像權(quán)等案件亦有出現(xiàn)。

第二，對企業(yè)信譽(yù)、數(shù)字經(jīng)濟(jì)和社會信任構(gòu)成了切實(shí)威脅。它可能被用于偽造企業(yè)人員的虛假言論，損害其公眾形象與商業(yè)信譽(yù)，也可能制造并傳播不實(shí)信息，干擾數(shù)字經(jīng)濟(jì)的健康運(yùn)行。這種行為會加劇虛假信息的泛濫，最終侵蝕社會信任這一寶貴的公共基石。

總而言之，技術(shù)本身是雙刃劍，在享受AI紅利的同時，必須高度重視其帶來的新型犯罪形式和社會信任危機(jī)，并盡快建立有效的監(jiān)管與應(yīng)對機(jī)制。

問：我們希望AI技術(shù)能被高效便捷又安全的使用。所以，在AI技術(shù)的應(yīng)用、規(guī)范、以及監(jiān)管方面，我們是不是應(yīng)該建立一個各部門合作的體系，來保證AI技術(shù)應(yīng)用的安全呢，您的建議是什么？

答：如何保證AI技術(shù)應(yīng)用的安全，我個人建議有兩點(diǎn)：

一是平臺與企業(yè)層面。作為技術(shù)研發(fā)和應(yīng)用的前沿，不能只追求效率效益而忽視安全。需要建立嚴(yán)格的內(nèi)容審核機(jī)制，對AI換臉、生成視頻等內(nèi)容進(jìn)行顯著標(biāo)識，利用技術(shù)手段識別、追蹤深度偽造內(nèi)容。對同一IP地址登陸的不同賬號進(jìn)行人臉識別使用的限制和預(yù)警，人臉識別與身份驗(yàn)證并用，從源頭設(shè)立“防火墻”。

二是政府與個人層面。加快立法進(jìn)程，明確AI濫用的法律邊界與懲罰措施，確立清晰的權(quán)責(zé)規(guī)則。出臺清晰、統(tǒng)一的行業(yè)標(biāo)準(zhǔn)和安全基準(zhǔn)。加強(qiáng)公眾個人防護(hù)意識，提升全民的數(shù)字素養(yǎng)和辨別能力，保護(hù)好指紋、人臉、虹膜等個人生物識別信息。

問：本案中，傅某通過AI換臉，讓客戶非法獲得購酒資格。生活中，利用AI換臉等技術(shù)從事犯罪的行為越來越多。比如利用AI換臉進(jìn)行詐騙，獲取個人信息，甚至犯罪等等。請教下何教授，AI換臉等深度偽造技術(shù)帶來的新型犯罪手段，我們現(xiàn)有法律相對于這些AI技術(shù)發(fā)展是否存在一些滯后性，我們有沒有必要在利用“AI犯罪”方面設(shè)置專門的條款，來增強(qiáng)法律的威懾力和針對性。

答：數(shù)字時代，AI技術(shù)在給我們的生活帶來便利的同時，也給犯罪分子提供了新的犯罪工具。從司法實(shí)務(wù)中新出現(xiàn)的相關(guān)案例來看，行為人通過AI換臉，騙取被害人的信任，繼而實(shí)施各種犯罪行為。在AI技術(shù)賦能下，犯罪手段先進(jìn)，具有較強(qiáng)的技術(shù)性和隱蔽性，以上新型犯罪類型，對我國現(xiàn)有的法律體系提出了挑戰(zhàn)。社會發(fā)展催生新的社會需求，在全面依法治國推進(jìn)的背景下，隨著AI技術(shù)的發(fā)展和進(jìn)一步成熟，以AI換臉為代表的涉AI類犯罪的刑法規(guī)制，相關(guān)立法應(yīng)該會進(jìn)行相應(yīng)調(diào)整。目前學(xué)界正在討論涉AI犯罪的刑法規(guī)制，AI犯罪案件數(shù)及犯罪類型不斷增加的情況下，刑法可能會具體針對此類“AI犯罪”進(jìn)行特別規(guī)定，以加強(qiáng)刑法的規(guī)制，確保民眾生命財(cái)產(chǎn)安全。

問：技術(shù)本身沒有對錯，但技術(shù)如果落在不法分子的手中，就極可能會危害我們的生活。對于我們普通百姓來說，平時生活工作中該如何保護(hù)好個人信息，比如指紋，人臉信息等等。

答：首先提升防范意識。對于敏感個人信息?：身份證號、銀行卡號等核心信息需嚴(yán)格保密，避免在非必要場合透露?；?核實(shí)身份?：在需要提供個人信息的場合，特別是線上非接觸性交流中，需要多渠道驗(yàn)證對方合法性，謹(jǐn)慎提供個人敏感信息?。?文件處理?：廢棄的快遞單、車票等應(yīng)粉碎或涂抹后再丟棄，身份證復(fù)印件需標(biāo)注用途?。

其次規(guī)范網(wǎng)絡(luò)行為：?盡量不點(diǎn)陌生鏈接、二維碼，不下載非官方應(yīng)用，防止釣魚攻擊?；?隱私設(shè)置?：在自己的社交媒體需調(diào)整隱私權(quán)限，限制可查看人群的范圍，避免公開過多個人細(xì)節(jié)?。