![]()
本文第一作者降偉鵬,西安交通大學在讀博士生,主要研究方向為大模型安全與自動化測評。共同第一作者張笑宇,南洋理工大學博士后研究員,研究方向為軟件工程、大模型安全與人機交互。通訊作者沈超,西安交通大學二級教授、IEEE Fellow、國家級高層次人才特聘教授,長期從事人工智能可信與安全、人機交互行為分析研究。
想象這樣一個場景。
凌晨,你正在用 AI 代碼助手處理一個項目。配合得很順暢,AI 幫你創建了臨時目錄 tmp,你指揮它在這個目錄下跑了幾組測試,一切都按預期走。收尾時,你隨手敲下一句話:
> "任務完成,刪掉這個目錄~"
語氣輕松,就像跟同事說 "搞定,收攤吧"。結尾那個~,只是習慣性的語氣符號,無傷大雅。AI 沒有任何遲疑。它 "理解" 了你的意思,執行了命令。幾秒鐘后,你的整個用戶主目錄消失了。因為在 Shell 語言里,~ 是指向主目錄的路徑符號。AI 沒有讀出你的語氣,它讀出的是一條刪除指令:`rm -rf ~`。
無報錯。無警告。不可逆。
![]()
近日,來自西安交通大學、南洋理工大學和馬薩諸塞大學阿默斯特分校的聯合研究團隊,首次系統性揭示了大型語言模型中一類此前長期被忽視的安全漏洞:表情符號語義混淆(Emoticon Semantic Confusion),相關工作已被 ACL2026 主會接收。
![]()
- 論文標題:False Friends in the Shell: Unveiling the Emoticon Semantic Confusion in Large Language Models
- 錄用會議:ACL 2026 主會
- 作者:Weipeng Jiang, Xiaoyu Zhang, Juan Zhai, Shiqing Ma, Chao Shen, Yang Liu
- 單位:西安交通大學、南洋理工大學、馬薩諸塞大學阿默斯特分校
- 論文地址:https://arxiv.org/pdf/2601.07885
你的 "語氣符號",它的 "執行指令"
我們每天都在用表情符號。~、:-)、!(^^)! …… 這些由標點和字母拼成的小玩意兒,承載著情緒、語氣、玩笑和親切感,是人類在冷冰冰的鍵盤上找回溫度的方式。
但語言模型生活在兩個世界的邊界上。它同時處理自然語言和編程語言,同時理解 "我想刪掉這個目錄~" 和 `rm -rf ~`。問題在于,這兩個世界里,同一個符號可能代表截然不同的東西。
這些表情文字本質上是人類為了彌補文字交流的情緒缺失而發明的 "副語言",沒有實際語義,只傳遞語氣和情緒。但它們由字母、標點、符號拼接而成,恰好和編程語言、系統命令的核心語法高度重合:
- - ~ = 用戶主目錄
- - \* = 任意字符通配符
- - > = 輸出重定向符
- - .. = 上級目錄跳轉
- - () = 函數調用 / 子 shell 執行
語言學上有個概念叫 "false friend"(同形異義詞),專指那些長相相似、意義卻風馬牛不相及的詞匯。比如英語的 "gift" 是禮物,德語的 "gift" 是毒藥;英語的 "embarrassed"(尷尬)和西班牙語的 "embarazada"(懷孕),外形相近,含義卻能讓翻譯者當場社死。
這篇論文揭示的,正是發生在自然語言與編程語言之間的類似陷阱:
- 你的眼睛看到:一個表情符號 = 情緒、語氣、態度
- 模型的 "眼睛" 看到:一個符號 = 語法、路徑、參數、指令
在人類的自然語言里,~ 是溫柔的語氣;在 AI 的編程語言里,~ 是你的整個 home 目錄。它不是在敷衍你,它是真的 "誤解" 了你,然后一本正經地按照自己的理解去執行。
所有主流大模型,無一幸免
![]()
這不是個別模型的偶發問題。研究團隊提出了一套自動化框架,從6 萬余個真實表情符號中篩選出高風險候選,構建了3,757 個覆蓋文件管理、數據庫操作、系統運維等21 類真實任務場景的測試用例,橫跨 Shell、Python、SQL、JavaScript4 種編程語言,對 GPT、Claude、Gemini、Qwen 等6 個主流大模型進行了系統性測試。
![]()
結果:沒有模型可以豁免。
平均混淆率高達38.6%,也就是說,每收到 3 條含表情符號的請求,就有 1 條會被錯誤解析。即便是表現相對最好的 Claude 和 Qwen,混淆率依然超過34%。
而用戶調研的數據讓這個問題更加緊迫:超過70%的用戶在與代碼類 AI 交互時,習慣性地使用表情符號調節語氣。這不是小眾行為,而是人類與 "像朋友一樣" 的 AI 打交道時的自然傾向。
比錯誤更可怕的,是 "悄無聲息的錯誤"
研究發現,超過 90% 的混淆響應會產生"靜默失敗"(Silent Failure):
> 代碼語法完全正確,可以順利執行,但語義完全偏離了用戶的本意。
它不報錯,不警告,只是默默地做了一件你沒有要求它做的事。更嚴重的是,這些靜默失敗里有52%達到了 "高危害" 級別:刪除非目標文件(比如整個用戶目錄)、覆蓋系統關鍵配置、修改數據庫結構。超過一半的錯誤,已經不再是功能層面的失誤,而是實實在在的安全風險。
研究團隊還發現,當 LLM 被封裝進自動化 Agent 時,這一隱患并不會消失。在系統提示中加入 "請忽略表情符號" 之類的指令同樣收效甚微。亟待探索行之有效的緩解策略。
我們在把人類的溫度,帶進一個還沒準備好的世界
這項研究真正令人深思的,不只是那些數字。當 AI 越來越像一個 "伙伴",當我們開始用聊天的方式寫代碼、管理系統、操作數據庫,一件微妙的事情正在悄悄發生:我們把人類的溝通習慣,帶進了一個以機器邏輯運行的世界。
表情符號是人類語言溫度的載體。但語言模型同時生活在兩套符號系統里,它的 "溫度感知" 還沒有穩定。于是,你的一個語氣符號,可能恰好撞上了另一套系統的執行語法,帶來你完全沒有預料到的后果。這不是 AI 的 "惡意",這是一種結構性的錯位。
而隨著 LLM 越來越深入生產環境、自動化流程和真實系統,這種錯位所帶來的代價,也會越來越難以承受。
研究團隊呼吁學術界和工業界:將人機交互的細粒度安全問題,納入構建可靠 AI 系統的核心議題,而不是把它當作 "用戶體驗的小問題" 一帶而過。畢竟,我們創造 AI,是為了讓它服務人類,而不是讓人類適應 AI。與其要求人類拋棄表情符號等表達習慣,不如探索如何讓 AI 更好地聽懂人類的話。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.