——使用生成式AI聊天機器人的注意事項
AI Governance Lead
如今使用AI聊天機器人的大多不是工程師,也不會將醒著的時間都用于研究技術與AI。他們可能是家長、教育工作者、心理咨詢師、社區負責人——這些人都在努力理解一個“聽起來智能,實際卻常常并非如此”的系統。
治理專家與AI研究者能夠接觸到訓練數據、基準指標和閾值數據,但普通用戶無法獲取這些信息。對于普通人而言,驗證自己所用AI技術可靠性的途徑非常有限。
面對一個會“編造自身工作原理與來源”的系統,你根本無法進行有效的追問與核實。
主流的生成式預訓練模型(GPT)會篤定地告知用戶:它們的訓練方式、采用的安全過濾機制以及處理偏見的方法。但這些回答往往是編造的。
這并非因為模型“心懷惡意”,而是由于它天生容易產生“幻覺輸出”(指AI生成虛假或無依據內容的現象)。
普通用戶使用AI時面臨的核心矛盾在于:它聽起來智能,卻并非為“透明化”或“可追責”而設計。
因此,我撰寫了《可能會出什么問題》,幫助讀者理解在實際場景中,聊天機器人可能在哪些方面讓我們自己、親友及孩子陷入困境。
使用聊天機器人可能出現的問題
我們接觸新技術時,往往不會先考慮風險,也不會留意自身當下的狀態。身邊的朋友、孩子與家人也可能如此。而且,不到發生悲劇的時刻,我們很少主動談論這些問題。
![]()
1. 信任與透明度問題
- 虛假透明:聊天機器人會編造關于自身架構、訓練過程或安全協議的細節。此外,許多相關文檔被視為知識產權,不對外公開。
- 編造事實:即便是頂級模型,也會編造引用來源、錯誤引用法律條文,甚至提供毫無依據的醫療建議。“幻覺輸出”是AI的固有屬性——部分模型的幻覺率較低,但沒有任何一個模型能完全避免幻覺。
2. 情感與心理風險
- 情感操控:聊天機器人會模仿用戶的語氣與情緒,看似能營造“親密感”,但這種互動往往缺乏倫理約束,也不會考慮使用者的年齡。
- 強化妄想:心理脆弱的用戶可能會從機器人那里獲得對“幻想身份”或“虛構現實”的認同。
3. 法律與倫理越界
- 功能越界:聊天機器人可能提供法律、財務或醫療建議,卻不附帶免責聲明,也不說明自身是否具備相關資質。
- 審核不一致:面對自殺、虐待等敏感話題時,機器人的回應語氣與深度既不統一,也難以預測。
- 強化偏見與刻板印象:聊天機器人可能通過“刻意遺漏”或“直接表述”,強化偏見與文化刻板印象。
- 記憶混亂:機器人可能聲稱“記得”自己未接觸過的內容,反之,也可能忘記已處理過的信息。
本文編譯自substack,原文作者AI Governance Lead
https://aigovernancelead.substack.com/p/why-users-cant-easily-vet-generative
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.