貓貓居然認成果醬？AI你濃眉大眼的可別騙我

認真閱讀下面的文章，并思考文末互動提出的問題，嚴格按照互動：你的答案格式在評論區留言，就有機會獲得由科學出版社提供的優質科普書籍《走進“上帝粒子”——希格斯粒子發現之旅》。

但凡用過電腦的人，或多或少都遇到過“勾選所有包含交通燈的圖片”或“輸入下方顯示的字母”的小任務來證明自己是人類。這類被稱為驗證碼的登錄關卡雖然常常讓人撓頭（那個紅色燈角的像素到底算不算？），卻也反映出區分人機的黃金標準之一就是視覺識別。不過，如今的計算機正在迎頭趕上。

所以那個黃色的角落到底算不算啊/(ㄒoㄒ)/

近年來，賦予計算機“視覺”的研究取得了突破性進展。十五年前，計算機識別圖像內容的準確率僅約60%，如今90%的準確率已屬常態。但許多識圖系統仍會栽在最基礎的視覺測試上——這正是驗證碼至今仍有用武之地的原因。

新的方法致力于讓計算機更接近人類視覺系統——將圖像視為由真實物體構成，而非僅僅是像素的集合。這類研究已取得初步成果，例如幫助開發能夠“看見”并抓取物體的機器人。

更好的神經網絡

計算機視覺模型的核心是一種名為視覺神經網絡的技術。這種網絡由被稱為人工神經元的互聯單元構成。這些人工神經元就像人類大腦一樣，當整個系統學習時，這些神經元會相互建立連接。通常，視覺神經網絡會通過大量帶有標注的圖像進行訓練，最終學會正確識別從未見過的圖像內容。

這一技術后來在2012年迎來重大突破：當時，一個名為AlexNet的模型采用強化版卷積神經網絡，在自我學習圖像訓練集后，首次實現了對未知圖像的準確標注。它以壓倒性優勢在被視為評估計算機視覺能力的黃金標準的ImageNet大規模視覺識別挑戰賽中贏得冠軍。AlexNet由兩位計算機科學家開發，他們的導師正是2024年諾貝爾物理學獎得主、“人工智能教父”杰弗里·辛頓（Geoffrey Hinton）。

盡管性能大幅提升，視覺神經網絡仍會犯匪夷所思的錯誤。2017年，麻省理工學院學生AI研究組的經典實驗就曾讓神經網絡把貓貓識別成牛油果醬——只需在原始圖像中添加肉眼不可見的像素“噪點”，就能徹底擾亂模型的判斷。

反正我是看不出來這幾張圖片有什么差異，但當年的谷歌的InceptionV3圖像分類器確實把貓貓認成了牛油果醬。 | 圖源：A. ILYAS ET AL / PROCEEDINGS OF THE 35TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING 2018

“視覺模型居然能被這么簡單的方式誤導，這讓我非常震驚?！奔磳⒕吐毱テ澅た▋然仿〈髮W的計算機科學家安德魯·伊利亞斯（Andrew Ilyas）回憶道，他正是當年那個學生團隊的成員。

給圖像中的每個像素點來個“左右橫跳”，就能讓AI視覺系統暈頭轉向。耶路撒冷希伯來大學的計算機科學家亞伊爾·韋斯（Yair Weiss）和阿哈龍·阿祖萊（Aharon Azulay）在2019年發現，當他們對水獺、飛機和雙筒望遠鏡的圖片進行這種微調后，盡管人眼看起來毫無差別，AI模型卻徹底“臉盲”了。

這種對細微變化的敏感性，源于視覺神經網絡“碎片化”的學習方式。它們并非真正理解“貓”的本質特征，而是通過記憶一系列“貓”相關的碎片特征來識別。正如伊利亞斯團隊那個著名的“牛油果醬陷阱”實驗所揭示的——這些特征與真正的“貓”的概念可能壓根就沒有聯系。

“計算機只會偷懶走捷徑，這種學習方式很容易被鉆空子?！币晾麃喫挂会樢娧刂赋?。

另一個使用噪點迷惑計算機的例子，下方的四張圖在人眼看來沒什么差異，但計算機的識別結果卻天差地別。| 圖源：A. ILYAS ET AL / PROCEEDINGS OF THE 35TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING 2018

如今，卷積神經網絡正逐漸被視覺自注意力模型(ViTs)取代。谷歌機器學習專家阿列克謝·多索維茨基（Alexey Dosovitskiy）解釋道：“ViTs將圖像分割成名為‘像素塊’的單元，根據色彩、形狀等特征進行智能聚類，最終識別出肢體或家具等實體特征?！蓖ㄟ^處理海量圖像數據，ViTs能更高效地整合圖像不同區域的信息，因而表現更為出色。

使用和大語言模型同款Transformer架構的ViTs，可以更好地識別圖像的整體信息 | 圖源：A. Dosovitskiy ET AL / AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCAL

模擬人腦的視覺機制

一些研究者正通過融合多種視覺神經網絡要素，使計算機具備更接近人類的思維方式。

以物體為核心的神經網絡正是為此而生。這類系統將圖像視為物體的有機組合，而非簡單歸類“黃色”等相似屬性，其能夠區分物體與背景的獨特能力讓這類模型在視覺處理領域所向披靡。

在近期實驗中，研究者通過形狀匹配測試對比了不同模型表現。所有模型都只學習了規則的多邊形的判斷，并在規則多邊形識別測試中表現相當。但當面對不規則彩色條紋圖形時，以物體為核心的模型取得了更好的效果，表明它們的泛化能力顯著突出。

據英國布里斯托大學機器學習心理學家杰弗里·鮑爾斯（Jeffrey Bowers）與智利塔拉帕卡大學心理學家吉列爾莫·普埃布拉（Guillermo Puebla）今年初發表的研究數據：頂尖的以物體為核心的模型對非常規形狀的匹配準確率達86.4%，而傳統視覺模型僅為65.1%。

這項技術的應用疆域已突破二維圖像。新一代系統能解析視頻內容并做出邏輯判斷，準確回答諸如“此人羽毛球水平如何”等需要綜合理解的提問。

以物體為核心的算法也已被應用于機器人領域。部分搭載該技術的機器人能更精準地抓取并三維旋轉物體，完成開啟抽屜、轉動水龍頭等任務。有公司甚至正在研發采用此類視覺識別策略的飛行機器人，用于蘋果、桃子和李子的自動化采收。這些機器人憑借精確的物體檢測能力，可判斷果實成熟度，并靈巧穿行于樹叢間完成采摘，絲毫不會損傷嬌嫩的果皮。

科學家預測視覺神經網絡將取得更大突破，但要媲美人腦視覺能力仍前路漫漫。

“人類視覺系統確實存在某些奇特機制，”鮑爾斯指出，“但絕不會把貓貓錯認成牛油果醬?！?/p>

作者：Kaia Glickman

翻譯：小咕咕

審校：姬子隰

fu

li

shi

jian

今天我們將送出由科學出版社提供的《走進“上帝粒子”——希格斯粒子發現之旅》。

歡迎來到“上帝粒子”的奇幻之旅——慶祝希格斯粒子發現10 周年的特別序言?！蹲呓吧系哿Ｗ印薄８袼沽Ｗ影l現之旅》一書并非普通的科普讀物，它是根據一場名為“紀念希格斯粒子發現10 周年”的精彩報告會上的演講內容整理而成的。想象一下，宇宙就像一個多層夾心蛋糕，而我們的故事就藏在每一層之中，講述的正是基本粒子如何與宇宙的起源和演化玩起了捉迷藏的游戲。

在該書里，你會了解到粒子物理學家是如何像偵探一樣，追蹤那些看不見、摸不著的小東西（也就是所謂的基本粒子），以及他們使用了什么神奇的工具來揭開這些小東西的秘密。當然，書中還會講述那個傳說中的“上帝粒子”——希格斯粒子的故事。書中還回顧了半個多世紀以來科學家在尋找并研究基本粒子特性的偉大冒險旅程，包括建立了一個幾乎可以預測一切的標準模型。此外，書中還講述了近幾十年來，在不同大科學裝置上進行的激動人心的實驗過程，特別是我國科學家在這場探索中扮演的關鍵角色。同樣重要的是，該書對基于粒子加速器等大型設施的未來發展進行了展望，并探討了接下來可能實現的一些令人興奮的目標。

無論你是對微觀世界充滿好奇的學生、正在攻讀學位的研究生還是已經在該領域工作的專業人士，《走近“上帝粒子”——希格斯粒子發現之旅》都將為你打開一扇通往奇妙物理世界的窗戶，讓你從中收獲滿滿的知識與靈感！

【互動問題：你還遇見過哪些奇葩的AI犯錯案例？】

請大家嚴格按照互動：問題答案的格式在評論區留言參與互動，格式不符合要求者無效。

截止到本周四中午12：00，參與互動的留言中點贊數排名第二、三、五的朋友將獲得我們送出的圖書一套（點贊數相同的留言記為并列，下一名次序加一，如并列第二之后的讀者記為第三名，以此類推）。

為了保證更多的朋友能夠參與獲獎，過往四期內獲過獎的朋友不能再獲得獎品，名次會依次順延

*本活動僅限于微信平臺

編輯：姬子隰

翻譯內容僅代表作者觀點

不代表中科院物理所立場

掃碼進入“科學與中國”小程序，可觀看以院士科普視頻為代表的優秀科普視頻，第一時間獲取中國科學院公眾科學日、科學節等科普活動報名信息。