你讓AI寫篇論文,它可能引用一篇根本不存在的文獻,讓它解釋個科學概念,里面摻著半真半假的信息,這種大語言模型的“幻覺”毛病,最近成了科技圈頭疼的事。
北郵和小米的團隊聯手搞出了個新東西C2-Cite溯源大模型,剛被國際頂級會議WSDM2026收錄,據說能給AI的話加上“源頭水印”,讓每句話都能查到出處。
為啥AI會“說瞎話”?說白了,現在的大模型生成內容時,經常“憑記憶瞎編”,不記得信息哪來的,或者干脆編造來源。
為了讓AI說話靠譜,研究人員早就想了個招歸因技術,就是讓AI在生成內容時,給引用的信息加上來源鏈接,像咱們寫論文加參考文獻似的。
![]()
但之前的歸因技術有點“不靠譜”,有的模型加的引用標記就是個擺設,跟內容對不上,有的為了引用準確,寫出來的話前言不搭后語,還有的得先生成內容再回頭加引用,根本做不到一句話一個出處,這些毛病導致AI內容的可信度還是上不去。
就拿“事后歸因”來說,相當于AI先寫完一篇文章,再讓人手動或者機器回頭找參考文獻貼上去。
這就像寫作文時先瞎寫一通,寫完了再硬湊幾個名言警句,經常出現引用和內容脫節的情況。
我之前見過一個AI生成的報告,引用的某篇論文標題都寫錯了,一看就是湊數的,指令微調歸因也有毛病。
![]()
這種方法太依賴高質量的訓練數據,要是數據里引用和內容沒對齊,模型學完也跟著錯。
更麻煩的是,它不會主動把引用和上下文聯系起來,生成內容時引用就像硬插進去的廣告,讀著特別別扭。
這些老問題讓研究人員頭疼了好久,直到C2-Cite的出現,才算找到了新路子。
這個模型最核心的想法,就是讓引用標記不再是“死標簽”,而是變成“活指針”,知道自己指向哪段信息,還能帶著上下文的意思。
C2-Cite第一個聰明的地方,是給引用標記“辦了身份證”,以前的引用標記可能是一串亂碼或者數字,模型根本不知道它指啥。
![]()
現在C2-Cite把這些標記統一成一個符號,然后計算這個符號對應的文獻的“語義指紋”,讓引用標記本身就帶著文獻的意思。
打個比方,以前引用像貼個沒寫地址的快遞單,現在直接寫上“XX街XX號”,清清楚楚。
光有地址還不夠,還得確保引用和內容對得上,這就需要第二個機制上下文引用對齊,C2-Cite里有個“引用路由器”,專門負責區分普通內容和引用標記。
普通內容按正常邏輯生成,引用標記則單獨優化,確保它指向的文獻真能支撐前面說的話。
![]()
就像導航軟件,普通路段走常規路線,到了岔路口專門校準方向,免得跑偏,方向對了,還得讓AI記得前面引用了啥,不然說著說著就忘了,這就靠上下文注意力增強機制。
這個機制簡單說,就是讓AI在生成后面內容時,多“回頭看看”前面的引用標記,比如寫到第二點時,特意關注第一點引用的文獻,確保前后意思連貫。
有點像咱們聊天時,提到“剛才說的那個事”,得記得“剛才說的”具體是啥,不然對方聽不懂,為了讓這三個機制配合好,C2-Cite設計了一套“組合獎懲制度”多損失函數。
把普通內容的生成質量、引用的準確性、路由器的判斷對錯、注意力的集中程度都算進去,加權打分。
![]()
這樣一來,模型訓練時就知道既要引用準,又要內容順,不會顧此失彼,光說不練假把式,C2-Cite在三個權威數據集上做了測試,結果還真不錯。
在ALCE基準測試的ASQA、ELI5、QAMPARI數據集上,不管是引用的準確率還是內容的通順度,都比之前的歸因模型好不少,尤其讓人驚喜的是速度,比那些需要來回迭代修改的模型快多了,處理效率明顯提升。
研究人員還發現個有意思的現象,用了C2-Cite后,AI生成內容時,后面的句子會更關注前面的引用標記。
通過注意力熱力圖能看到,引用標記周圍的“關注度”明顯更高,就像說話時老提著前面的論據,邏輯鏈條擰得更緊了,這種“跨引用的語義橋梁”,讓內容讀著更可信。
![]()
當然啦,這技術現在還在實驗室階段,離咱們日常用AI寫報告、查資料還有段距離,但它指明了一個方向,要讓AI說話靠譜,就得從根子上解決引用的問題,讓每個觀點都能找到“娘家”。
說不定過兩年,咱們用AI生成內容時,看到帶引用標記的地方,一點就能跳轉到原始文獻。
到那時候,再也不用對著AI寫的東西犯嘀咕,“這到底是真的還是編的?”這一天早點來才好呢,總的來說,C2-Cite算是給解決大模型“幻覺”問題開了個好頭。
從讓引用標記“有意義”到“對齊準”再到“記得牢”,每一步都踩在了之前的痛點上,雖然現在還不是完美方案,但至少讓我們看到,AI變得更靠譜,不是遙不可及的事。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.