你的輸入，LLM一字未忘：Transformer被證明“幾乎處處可逆”

　　來源：PaperWeekly

　　人們一直以為，大模型的隱藏狀態(tài)是抽象的“語(yǔ)義壓縮”。但這篇論文發(fā)現(xiàn)，Transformer 并沒有丟掉任何輸入信息——它能憑隱藏狀態(tài)精確反演出你說的每一個(gè)字。

　　我們一直以為，語(yǔ)言模型的隱藏狀態(tài)是對(duì)輸入的一種“壓縮”或“抽象”。在這層抽象里，模型似乎丟掉了表面信息，只保留“語(yǔ)義精華”——這就是我們所說的“理解”。

　　但這篇論文顛覆了這個(gè)想法。作者發(fā)現(xiàn)，在標(biāo)準(zhǔn)的 Transformer 結(jié)構(gòu)下，模型的最后一 token 隱狀態(tài)幾乎必然能唯一確定輸入序列。

　　換句話說，只要你知道這個(gè)隱藏狀態(tài)，就能反推出原文。而且，這個(gè)性質(zhì)不僅在隨機(jī)初始化時(shí)成立，在整個(gè)訓(xùn)練過程中也不會(huì)被破壞。

　　更令人震撼的是，他們沒有停留在數(shù)學(xué)證明，而是進(jìn)一步提出了一個(gè)實(shí)際算法——SipIt（Sequential Inverse Prompt via Iterative Updates）。它不需要任何外部模型訓(xùn)練，僅憑 Transformer 的隱藏狀態(tài)，就能把輸入一個(gè) token 一個(gè) token 地完整還原。

　　▲圖1.Prompt 到 Latent Space 的單射映射：可視化 Transformer 將輸入映射到隱空間，并通過 SIPIT 完整反演。

　　論文標(biāo)題：

　　Language Models are Injective and Hence Invertible

　　論文鏈接：

　　https://www.arxiv.org/pdf/2510.15511

　　研究背景：為什么單射性如此重要？

　　在 Transformer 的每一層里，我們都能看到“似乎會(huì)丟信息”的環(huán)節(jié)：LayerNorm 會(huì)重標(biāo)尺度，殘差連接可能抵消特征，注意力層還會(huì)把多個(gè) token 混合成一個(gè)上下文表示。這些操作看起來都不利于可逆性。

　　然而作者從另一個(gè)角度切入——解析性（real-analyticity）。他們將 Transformer 視為從離散序列到連續(xù)表示的解析映射：

　　這里 是輸入 token 序列， 是模型參數(shù)， 是最后一 token 的隱藏狀態(tài)。

　　作者進(jìn)一步形式化地指出，這個(gè)映射幾乎處處是單射的：

　　也就是說，不同輸入序列映射到相同隱藏狀態(tài)的概率為零。解析函數(shù)的零點(diǎn)集要么處處為零，要么測(cè)度為零。這意味著，只要存在一個(gè)參數(shù)配置讓兩個(gè)不同輸入產(chǎn)生不同輸出，幾乎所有參數(shù)下都不會(huì)“撞車”。

　　于是作者定義了一個(gè)碰撞檢測(cè)函數(shù)：

　　只要存在某個(gè) 讓 ，那就意味著“不同輸入映射成相同隱藏態(tài)”的概率為零。

　　▲圖2.零測(cè)集的可視化直覺：零點(diǎn)集合只形成細(xì)線（measure zero），說明碰撞幾乎不可能發(fā)生。

　　他們進(jìn)一步證明：即使經(jīng)過有限步梯度下降，這種性質(zhì)仍然保持。因?yàn)閰?shù)更新：

　　本身也是解析函數(shù)，其雅可比行列式非零，不會(huì)把空間“壓塌”。更嚴(yán)格地，他們給出了如下結(jié)論：

　　也就是說，在有限步梯度下降（步長(zhǎng) ）后，模型依然保持輸入到隱藏空間映射的單射性。

　　這表明，Transformer 的可逆性是整個(gè)訓(xùn)練過程的結(jié)構(gòu)性特征，而非偶然現(xiàn)象。

　　方法：SipIt如何“倒放”Transformer？

　　有了理論基礎(chǔ)，作者提出了一個(gè)問題：

　　如果隱藏狀態(tài)真的能唯一對(duì)應(yīng)輸入，我們能否直接把原文還原回來？

　　他們的答案是——可以。

　　核心思路

　　作者定義了函數(shù) ，其中 表示前綴序列。也就是說，每個(gè)位置的隱藏狀態(tài)由前綴和當(dāng)前 token 唯一決定。

　　因此，已知隱藏狀態(tài) ，我們可以遍歷詞表 ，尋找唯一滿足 的 token。只要找到這個(gè) token，就能確定當(dāng)前位置的輸入。

　　▲圖3.SIPIT 反演偽代碼：逐位反演輸入的迭代流程，僅依賴隱藏狀態(tài)即可完成重建。

　　SipIt 基于這個(gè)原則逐位反演輸入：從第一個(gè) token 開始，對(duì)候選詞按策略遍歷，當(dāng)匹配的隱藏狀態(tài)落入允許的 ε 鄰域（ε-ball）時(shí)即接受，并進(jìn)入下一位。

　　作者在文中指出：“在實(shí)踐中，我們接受那些觀測(cè)隱藏狀態(tài)位于預(yù)測(cè)值 ε 球鄰域內(nèi)的匹配結(jié)果。” 這種基于容差的檢查方式保證了算法在有限步內(nèi)收斂并找到唯一匹配。

　　當(dāng)所有位置都驗(yàn)證完畢，SipIt 即可還原出完整輸入 。理論上時(shí)間復(fù)雜度為線性，最壞情況下也不超過 步，即保持線性時(shí)間復(fù)雜度（linear-time bound）。

　　SipIt 把“單射性”從一個(gè)理論命題變成可操作事實(shí)——能否被 SipIt 完整反演，就是模型是否真正保留信息的實(shí)證檢測(cè)。

　　實(shí)驗(yàn)結(jié)果：模型真的沒丟信息嗎？

　　作者在 GPT-2 Small、Gemma-3、Llama-3.1、Mistral-7B、Phi-4-mini 等多種架構(gòu)上做了驗(yàn)證。他們?yōu)槊總€(gè)模型計(jì)算不同輸入的最后一 token 表示之間的最小 距離。

　　結(jié)果顯示，所有最小距離都遠(yuǎn)高于 ，說明幾乎不存在碰撞。

　　▲圖4.不同層間的最小距離始終高于閾值，未出現(xiàn)重疊。

　　▲表1.不同模型的距離分布均明顯高于碰撞閾值

　　極限窮舉測(cè)試：仍未出現(xiàn)碰撞

　　為避免采樣偏差，作者挑出最相似的 10 對(duì)前綴，并窮舉詞表的所有接續(xù)組合——相當(dāng)于檢索上千億條輸入。即便在這個(gè)極端測(cè)試下，隱藏狀態(tài)的最小距離依然大于 0。

　　▲圖5. 在極限應(yīng)激測(cè)試下，所有最小距離仍遠(yuǎn)高于零

　　他們還觀察了距離隨序列長(zhǎng)度變化的趨勢(shì)：短句在前幾層迅速拉開間距，長(zhǎng)句則趨于穩(wěn)定。

　　▲圖6.短序列距離上升更快，長(zhǎng)序列趨于穩(wěn)定

　　反演實(shí)驗(yàn)：SipIt 的可行性驗(yàn)證

　　在 GPT-2 Small 上，作者選取 100 條提示序列，僅使用隱藏狀態(tài)進(jìn)行反演。SipIt 實(shí)現(xiàn)了 100 % token-level 精確恢復(fù)，反演耗時(shí)與序列長(zhǎng)度線性增長(zhǎng)。

　　▲表2. SipIt 在保持 100% 精度的同時(shí)速度領(lǐng)先百倍

　　▲圖7.反演耗時(shí)隨層深度緩慢上升，整體呈線性增長(zhǎng)

　　總結(jié)

　　這項(xiàng)研究并未改動(dòng)模型結(jié)構(gòu)，卻動(dòng)搖了我們對(duì)“隱藏表示”的長(zhǎng)期假設(shè)。Transformer 的最后一 token 隱藏狀態(tài)在解析意義上幾乎處處可逆：不同輸入有不同表示，訓(xùn)練過程不會(huì)破壞這種區(qū)分性。

　　SipIt 把理論轉(zhuǎn)化為工具——在不訓(xùn)練任何外部網(wǎng)絡(luò)的前提下，僅憑隱藏狀態(tài)就能線性時(shí)間重建原文。

　　從科研角度，這為解釋 LLM 內(nèi)部表征提供了堅(jiān)實(shí)起點(diǎn)；從工程角度，這提醒我們：緩存隱藏狀態(tài)等價(jià)于緩存用戶輸入，隱私治理必須覆蓋這一層；從方法論角度，它展示了一種范式——先證明結(jié)構(gòu)，再把結(jié)構(gòu)做成算法。

　　也許我們需要重新定義“理解”與“記憶”的界限。 至少?gòu)倪@篇論文的結(jié)果看——LLM 沒有忘記你說過的每一個(gè)字。