語言如何影響視覺？人腦與AI模型提供了雙重證據

人民網北京12月16日電 (記者趙竹青)當我們看到“玫瑰”時，大腦只是單純地在“看”嗎？最新一項研究發現，語言不僅塑造我們的思維，也可能在潛移默化中改變我們“看世界”的方式。

這項由北京大學聯合北京師范大學、山西醫科大學第一醫院合作完成的研究，于12月15日發表在國際期刊《自然·人類行為》上。論文題為《結合人工神經網絡與人類腦損傷模型證據揭示語言調節人類視覺感知》。

研究結合了人工智能模型與健康人群和腦卒中患者的腦影像數據，為“語言是否影響感知”這一心理學核心問題提供了新證據，也展示了人工智能與腦科學相互啟發的研究范式。

語言到底會不會影響我們“看”世界？

“語言會不會影響感知？”這是心理學、語言學乃至哲學中持續爭論的重要問題。

支持者認為，語言為人類劃定了理解世界的邊界，即“有什么詞，就看見什么差別”；而反對者則認為，視覺、聽覺等感知系統獨立于語言而運行，不受其影響。這一問題之所以難解，是因為在人類發展中，語言與視覺經驗幾乎總是同時出現，難以在實驗中加以區分。

如今，人工智能的發展為解開這一經典難題帶來了新的契機。

論文通訊作者之一、北京大學心理與認知科學學院與人工智能研究院助理教授朱毅鑫解釋：“AI模型就像一個可控的‘數字實驗室’，我們可以人為決定它是否學習語言，再觀察不同學習經歷是否導致‘看世界’方式的差異。”

研究團隊比較了兩類AI模型：一類只學習過圖像(純視覺模型)，另一類同時學習過圖像和文字(視覺–語言模型)。隨后，將這兩類模型的內部表征，與人類大腦視覺皮層在四組健康人群中的活動模式進行比對。

結果顯示，視覺–語言模型與人腦視覺皮層的活動模式更為相似，尤其集中在左半球，即人類語言加工的主導區域。更令人驚訝的是，這一模式在使用手語的聾人中同樣存在，說明語言經驗，無論是口語還是手語，都在視覺加工中留下系統性的印記。

“簡單來說，被語言‘指導’過的AI視覺模型，看世界的方式更接近人腦?！闭撐墓餐谝蛔髡?、北京大學博士生陳昊揚說。

腦卒中患者提供的“天然對照實驗”

然而，AI模型與人腦的相似性，并不能直接證明語言在其中起了因果作用。

為此，團隊將目光轉向了一個特殊群體——腦卒中患者。腦卒中常會損傷連接語言區與視覺區的白質纖維通路，為科學家提供了一個“天然對照實驗”。

研究結果表明：患者語言–視覺通路受損越嚴重，其視覺腦區活動越像“純視覺模型”，而越不像“視覺–語言模型”。當語言-視覺通路被破壞，語言對視覺的調節作用隨之消失，成為“語言調節視覺”的直接證據。

論文共同第一作者劉擘表示：“腦損傷患者的數據，讓我們看到了人腦中語言通過與視覺皮層連接的神經通路調控視覺功能的必要性。”

研究過程中，腦卒中患者的數據獲取極具挑戰。患者普遍存在注意力有限、體力不足的情況，要在狹窄的磁共振儀里保持靜止二十分鐘以上十分困難，研究團隊反復優化實驗設計，使任務既足夠簡單讓患者理解，又能有效激活視覺皮層。同時，由于每位患者的病灶位置都不同，就像“指紋”一樣獨特，團隊需要為每位患者手工標注病灶、一人一策地定制分析方案，并進行嚴格的數據篩選。

論文通訊作者之一、山西醫科大學王效春醫生感慨道：“這項研究的完成離不開醫院團隊、心理學者和患者家屬的信任與支持?！?/p>

AI與腦科學如何“相互照亮”？

這一跨學科研究展示了人工智能與腦科學“相互賦能”的新模式。

據介紹，傳統腦科學通過各種手段記錄神經活動揭示大腦結構與功能的對應，但難以精確刻畫這些神經活動所“計算”的信息內容。人工智能模型的引入，使研究者能夠在一個可控的“數字化認知實驗室”中模擬人腦的學習與表征過程，從而探查語言如何塑造感知。

此前已有研究使用AI對大腦建模，但往往停留在相關性層面。而在本研究中，腦損傷患者的參與為模型提供了罕見的因果驗證：當大腦的語言–視覺通路被自然“切斷”時，AI模型所預測的模式確實出現在人腦之中。

論文通訊作者、北京大學心理與認知科學學院及人工智能研究院教授畢彥超總結道：“我們用AI模型理解大腦，而腦損傷患者的腦活動又反過來驗證了模型的機制。這讓AI與腦科學第一次真正閉合成一個實驗循環，形成了腦科學研究的新范式。未來AI會越來越多地輔助腦科學研究，幫助我們探索大腦的奧秘、幫助更多的病人。”

朱毅鑫進一步補充：“我們發現，語言在大腦視覺系統中扮演了組織和調節的角色。這啟發我們思考：真正的智能，也許需要像人腦一樣，讓語言去統籌感知、記憶和推理，而不是簡單地并列處理多種模態。”

“腦科學與人工智能不是兩條平行線，而是一面鏡子。我們借助AI理解人腦，也讓人腦的認知實驗研究為AI發展照亮方向?！碑厪┏f。