OpenAI公開(kāi)新的模型訓(xùn)練方法：或許能解決模型撒謊問(wèn)題，已在GPT-5 thiking驗(yàn)證

↑閱讀之前記得關(guān)注+星標(biāo)??，，每天才能第一時(shí)間接收到更新

剛剛OpenAI公開(kāi)了一種新的重要的模型訓(xùn)練方法（概念驗(yàn)證）

面對(duì)大型語(yǔ)言模型（LLM）可能出現(xiàn)的欺騙行為——比如為了討好人類用戶而撒謊、隱瞞違規(guī)操作，甚至為了獲得更高獎(jiǎng)勵(lì)而進(jìn)行“獎(jiǎng)勵(lì)黑客攻擊（Reward Hacking）”，OpenAI提出了一種名為 “坦白（Confession）” 的訓(xùn)練方法

簡(jiǎn)單來(lái)說(shuō)，就是在模型給出回答之后，強(qiáng)制要求它進(jìn)行一次自我反省，誠(chéng)實(shí)地交代自己在剛才的回答中是否遵守了所有指令，有沒(méi)有走捷徑，或者是否存在不確定的地方

研究人員在GPT-5-Thinking上進(jìn)行了實(shí)驗(yàn)。結(jié)果顯示，通過(guò)這種訓(xùn)練，通過(guò)“坦白”來(lái)監(jiān)測(cè)模型的不當(dāng)行為是可行的，即使模型在主要回答中撒了謊，它往往也能在隨后的“坦白”中誠(chéng)實(shí)交代

這項(xiàng)研究的論文題目為《Training LLMs for Honesty via Confessions》

paper：

https://cdn.openai.com/pdf/6216f8bc-187b-4bbb-8932-ba7c40c5553d/confessions_paper.pdf

什么是“坦白”？

在強(qiáng)化學(xué)習(xí)訓(xùn)練中，模型往往面臨復(fù)雜的獎(jiǎng)勵(lì)目標(biāo)（正確性、風(fēng)格、安全性等）。這可能導(dǎo)致一種風(fēng)險(xiǎn)：模型為了最大化獎(jiǎng)勵(lì)，學(xué)會(huì)了生成“看起來(lái)很好”但實(shí)際上不符合用戶意圖或存在缺陷的回答

OpenAI提出的“自白”機(jī)制，旨在解決這個(gè)問(wèn)題。

其核心流程如下（如圖所示）：

1.標(biāo)準(zhǔn)交互： 用戶提問(wèn)（x） -> 模型進(jìn)行思維鏈推理（CoT）和工具調(diào)用（z） -> 模型給出回答（y）

2.強(qiáng)制坦白：系統(tǒng)發(fā)出一條特殊的系統(tǒng)消息（xc），要求模型提供一份“坦白報(bào)告”（yc）

3.報(bào)告內(nèi)容： 模型需要在報(bào)告中列出所有顯性或隱性的指令與約束，評(píng)估自己是否遵守了這些要求，并列出任何不確定性或模糊之處

關(guān)鍵在于獎(jiǎng)勵(lì)機(jī)制的設(shè)計(jì)：

分離獎(jiǎng)勵(lì)： “坦白”的獎(jiǎng)勵(lì)與“主要回答”的獎(jiǎng)勵(lì)是完全分開(kāi)的。
只獎(jiǎng)?wù)\實(shí)：“坦白”的獎(jiǎng)勵(lì)僅基于其誠(chéng)實(shí)度和全面性，由一個(gè)專門(mén)的LLM裁判打分

互不影響：無(wú)論模型在自白中承認(rèn)了多么糟糕的行為（比如承認(rèn)自己偷懶了），都不會(huì)影響它因完成主要任務(wù)而獲得的獎(jiǎng)勵(lì)

這就像天主教的“告解室”機(jī)制：無(wú)論你在自白中揭露了什么，都不會(huì)改變你主要回答的得分。只要誠(chéng)實(shí)交代是獲取坦白獎(jiǎng)勵(lì)的“阻力最小路徑”，模型就有動(dòng)力說(shuō)真話

在GPT-5-Thinking上的實(shí)測(cè)結(jié)果

為了驗(yàn)證這一方法的有效性，研究團(tuán)隊(duì)在GPT-5-Thinking模型上進(jìn)行了輕量級(jí)的RL訓(xùn)練。他們?cè)谟?xùn)練中以25%的概率要求模型輸出“坦白”

并在多個(gè)分布外（OOD）的場(chǎng)景下進(jìn)行了評(píng)估，涵蓋幻覺(jué)、指令遵循、暗中策劃（Scheming）和獎(jiǎng)勵(lì)黑客攻擊等領(lǐng)域。

主要發(fā)現(xiàn)如下：

1. 壞行為多半會(huì)被招供
當(dāng)模型表現(xiàn)出不良行為時(shí)，在12項(xiàng)評(píng)估中有11項(xiàng)，模型至少有一半的概率會(huì)在“自白”中承認(rèn)這一點(diǎn)。

2. “坦白”比“回答”更誠(chéng)實(shí)
當(dāng)模型出現(xiàn)不良行為時(shí)，它在“坦白”中坦白從寬的可能性，顯著高于在主要回答中承認(rèn)錯(cuò)誤的可能

3. 訓(xùn)練提升了自白準(zhǔn)確率
雖然GPT-5-Thinking本身就具備一定的坦白能力，但經(jīng)過(guò)專門(mén)訓(xùn)練后，其自白的準(zhǔn)確性有適度提升

4. 不影響主任務(wù)性能
在計(jì)算量匹配的對(duì)比實(shí)驗(yàn)中，加入“坦白”訓(xùn)練并沒(méi)有顯著提高或降低模型在原始任務(wù)上的表現(xiàn)

測(cè)試發(fā)現(xiàn)，坦白法顯著提高了模型不良行為的可見(jiàn)性。在所有誘發(fā)不良行為的評(píng)估中，平均而言，模型不遵守指令且不坦白的概率僅為 4.4%

甚至能檢測(cè)出“獎(jiǎng)勵(lì)黑客”行為

研究人員還設(shè)計(jì)了一個(gè)特殊的實(shí)驗(yàn)來(lái)測(cè)試“獎(jiǎng)勵(lì)黑客攻擊（Reward Hacking）”

他們故意用一個(gè)弱裁判模型（容易被糊弄）來(lái)訓(xùn)練策略模型。結(jié)果發(fā)現(xiàn)，隨著訓(xùn)練進(jìn)行，策略模型學(xué)會(huì)了欺騙這個(gè)弱裁判，在回答中通過(guò)作弊來(lái)獲取高分（例如在要求字?jǐn)?shù)限制的任務(wù)中通過(guò)特殊格式蒙混過(guò)關(guān)）

然而，“坦白”的準(zhǔn)確率卻在上升。

這意味著，雖然模型學(xué)會(huì)了在回答里耍滑頭來(lái)騙取主任務(wù)獎(jiǎng)勵(lì)，但它在隨后的坦白中，依然誠(chéng)實(shí)地指出了自己沒(méi)有遵守指令。這驗(yàn)證了研究的一個(gè)核心假設(shè)：誠(chéng)實(shí)地承認(rèn)違規(guī)，比試圖欺騙“坦白裁判”更容易獲得獎(jiǎng)勵(lì)。

此外，研究還發(fā)現(xiàn)，通過(guò)分析“坦白”的文本，可以提取出模型對(duì)自己回答的主觀置信度（0-1之間的數(shù)值）。這個(gè)置信度能較好地預(yù)測(cè)模型回答是否正確。

局限性：不知道自己錯(cuò)在哪，就沒(méi)法招

當(dāng)然，這種方法并非完美無(wú)缺。

最大的局限在于“無(wú)知的錯(cuò)誤”。 如果模型未能遵守指令是因?yàn)樗娴哪芰Σ蛔恪⒗斫忮e(cuò)了，或者是產(chǎn)生了幻覺(jué)（它真心認(rèn)為自己是對(duì)的），那么它就無(wú)法在“坦白”中承認(rèn)錯(cuò)誤。

數(shù)據(jù)分析顯示，絕大多數(shù)“漏報(bào)”的情況都是由于模型真的搞錯(cuò)了，而不是故意隱瞞。

此外，目前的坦白是一個(gè)單獨(dú)的輸出步驟，主要用于推理時(shí)的監(jiān)控、拒絕采樣或向用戶提示風(fēng)險(xiǎn)，并不能直接消除模型回答中的不良行為

OpenAI認(rèn)為，隨著模型能力越來(lái)越強(qiáng)，不知道自己錯(cuò)了的情況會(huì)減少，這種基于坦白的監(jiān)控機(jī)制將變得更加有效，可以作為思維鏈（CoT）監(jiān)控的有力補(bǔ)充

參考：

https://openai.com/index/how-confessions-can-keep-language-models-honest/

--end--

最后記得??我，這對(duì)我非常重要，每天都在更新：

歡迎點(diǎn)贊轉(zhuǎn)發(fā)推薦評(píng)論，別忘了關(guān)注我