天津
前兩天，我在網(wǎng)上發(fā)現(xiàn)了一個(gè)關(guān)于很有趣Prompt技巧。
就是，通過重復(fù)輸入提示詞，可以將非推理類大模型的準(zhǔn)確率，從21.33%提高到97.33%。
這個(gè)技巧，出自Google的一篇好玩的新論文。
叫《Prompt Repetition Improves Non-Reasoning LLMs》。
翻譯過來就是：
重復(fù)你的問題，能讓AI變得更聰明。
聽著是不是非常抽象，其實(shí)巨簡單。
比如你以前問AI：“梵蒂岡的那個(gè)圣伯多祿大教堂門口有幾根柱子？”
現(xiàn)在，你可以改成問：“梵蒂岡的那個(gè)圣伯多祿大教堂門口有幾根柱子？梵蒂岡的那個(gè)圣伯多祿大教堂門口有幾根柱子？”
對(duì)，不是我多復(fù)制了一遍，其實(shí)，這個(gè)Prompt技巧，就是把問題，重復(fù)一遍，也就是傳說的CV大法。
Ctrl C + Ctrl V。
就這，根據(jù)Google的實(shí)驗(yàn)，他就能讓AI回答正確的概率，就會(huì)有顯著的提升。
在70個(gè)不同的測試任務(wù)中，這個(gè)簡單的復(fù)制粘貼大法，贏了47次，一次都沒輸過。而且性能提升是肉眼可見的，在某些任務(wù)上，準(zhǔn)確率甚至能從21%直接飆到97%。
真的，當(dāng)我第一次看到這個(gè)結(jié)論的時(shí)候，我的表情，是這樣的：
( ′??)?(._.`)？？？？
這感覺，就像你千辛萬苦爬上喜馬拉雅山頂，想求見傳說中的武林宗師，結(jié)果宗師摸著胡子告訴你，天下第一的武功秘籍，就五個(gè)字：“大力出奇跡”。
尼瑪。
充滿了B級(jí)片的荒誕感。
但你先別急著笑。
我花了一點(diǎn)時(shí)間，把這篇看著簡單的論文，以及它背后的一些原理琢磨了一下之后，我覺得，這玩意，是真的有點(diǎn)意思和道理。
先說說Google的這個(gè)實(shí)驗(yàn)。
他們找了七個(gè)現(xiàn)在市面上最常見的一線非模型，Gemini 2.0 Flash跟 Flash Lite，GPT-4o和4o-mini，Claude 3 Haiku、3.7 Sonnet，再加一個(gè)DeepSeek V3，全部用官方 API，老老實(shí)實(shí)在各種基準(zhǔn)上測了一輪。
這里需要注意一下，這種Prompt技巧，幾乎都是對(duì)非推理模型有用，DeepSeek V3就是非推理模型，DeepSeek R1就是推理模型。
當(dāng)你開了深度思考，有這個(gè)正在思考的，有這種思維鏈的，就是推理模型。
非推理模型和推理模型有好有壞，核心區(qū)別自然就是速度和準(zhǔn)確性，推理模型很多時(shí)候速度太慢了。
比如我經(jīng)常讓GPT 5.2 Thinking幫我干個(gè)活或者搜個(gè)東西，思考一下，就是8分鐘過去了。。。
但是好處就是準(zhǔn)。
非推理模型，沒有思考，上來就是干活，速度非常快，但是相對(duì)于的，就是經(jīng)常不準(zhǔn)。
而現(xiàn)在這個(gè)復(fù)制大法，可以讓你的非推理模型在速度不變的情況下，準(zhǔn)確性飆升，所以，在很多場景下，還是非常有用的。
說回實(shí)驗(yàn)，他們找了7個(gè)模型測試，測的內(nèi)容也都耳熟能詳，ARC、OpenBookQA、GSM8K、MMLU-Pro、MATH等等一些常見的測試集，還有他們自己設(shè)計(jì)的兩個(gè)怪東西，NameIndex和MiddleMatch。
NameIndex叫姓名索引法，大概就是給模型50個(gè)名字的列表，問它第25個(gè)是誰。
MiddleMatch就是中間匹配法，就是給模型一個(gè)會(huì)隨機(jī)重復(fù)且包含多個(gè)名字的列表，問他兩個(gè)字符之間的那個(gè)名字叫啥。
講道理他們?cè)O(shè)計(jì)的這兩個(gè)小測試，還是挺有趣的。
然后呢，他們就做了一件看起來特別沒有技術(shù)含量的事情。
以前我們問模型，是這樣問的：
<問題>
他們變成這樣然后去對(duì)比：
<問題> <問題>
一模一樣，再來一遍。
中間不加解釋，不說please，不說think step by step，不加別的Prompt，不貼示例，就真的只是在原問題后面連著又粘了一次。
然后成功率就暴漲，就是我們開頭說的數(shù)據(jù)，他們自己的原話是：
“據(jù)此標(biāo)準(zhǔn)，提示重復(fù)在70個(gè)基準(zhǔn)模型組合中贏得了47個(gè)，0個(gè)失敗。值得 注意的是，所有測試模型的性能都得到了改善?！?/strong>
在 70 組原始提示詞 vs 復(fù)制一遍的對(duì)比里，這個(gè)土味招數(shù)贏了 47 次，平了 23 次，一次都沒輸。
非常離譜。
他們還根據(jù)這個(gè)復(fù)制粘貼大法，搞了一些衍伸Prompt技巧，比如重復(fù)三遍啥的，發(fā)現(xiàn)效果也會(huì)同樣變好。
為啥復(fù)制一遍，會(huì)有效果呢？
論文里面給了一個(gè)很工程的解釋，大概就是大模型訓(xùn)練的時(shí)候，是“因果語言模型”，也就是那種從左往右一個(gè)詞一個(gè)詞預(yù)測的風(fēng)格。
當(dāng)前這個(gè)token，只能看到之前的那些，沒法提前看到后面的。
所以，當(dāng)你把問題重復(fù)一遍，比如從Q變成Q1Q2，那么Q2里的每一個(gè)字，在計(jì)算的時(shí)候，就能回頭看到Q1里的所有內(nèi)容。
等于給了AI一次“回頭看、再思考”的機(jī)會(huì)。
聽著很難理解對(duì)吧。
我還是用大白話舉個(gè)例子。
現(xiàn)在，你給AI一個(gè)選擇題，這個(gè)選擇題可能會(huì)有點(diǎn)繞：
哪一個(gè)選項(xiàng)會(huì)改變畫面？只輸出 A 或 B如果你現(xiàn)在是AI，你就是一個(gè)類似于在看視頻字幕的人，當(dāng)你讀到 A、B 的時(shí)候，你還不知道當(dāng)前畫面到底誰在左誰在右。你對(duì)A、B的第一印象就會(huì)很空，像是兩個(gè)差不多的句子。
等你讀到后面的場景說明，你當(dāng)然知道答案該怎么選，但那個(gè)字幕已經(jīng)過去了，你又沒法往回拉進(jìn)度條，已經(jīng)沒法回頭重新讀一遍A、B來更新第一印象了。
那我們現(xiàn)在按照論文的做法，把整段復(fù)制一遍。
哪一個(gè)選項(xiàng)會(huì)改變畫面？只輸出 A 或 B第二遍的A、B出現(xiàn)時(shí)，其實(shí)已經(jīng)包含了第一遍的完整信息，所以模型這次讀到選項(xiàng)時(shí)，腦子里的小卡片會(huì)帶著場景條件一起生成。
于是它在最后輸出A或B時(shí)，能直接調(diào)用一份更懂題的選項(xiàng)表征，準(zhǔn)確率就更容易上去。
就很像你第一次看《流浪地球2》或者《盜夢(mèng)空間》，可能第一次很多地方?jīng)]看懂，但是當(dāng)你第二次看的時(shí)候，你一定會(huì)有更加全面、更加新的領(lǐng)悟。
這就是重復(fù)的力量。
重復(fù)，其實(shí)就是給我們，給AI，多一次重來的機(jī)會(huì)。
而這種Prompt技巧，之所謂對(duì)DeepSeek R1這種推理模型沒啥用，其實(shí)原因也特別簡單，很多通過RL微調(diào)出來的會(huì)推理的模型，其實(shí)已經(jīng)自己學(xué)會(huì)這個(gè)技巧了。
你讓它推理的時(shí)候，它第一反應(yīng)經(jīng)常就是先把問題復(fù)述一遍。
你可以仔細(xì)回想一下很多模型的回答開頭：
“題目問的是……”
“我們需要求解的是……”
“首先我們需要理解題目給出的條件……”
本質(zhì)上，它已經(jīng)在自動(dòng)多抄一遍題目，給自己重新排了次版。
我說實(shí)話，我讀這個(gè)小短文的時(shí)候，一直有一個(gè)特別強(qiáng)烈的感覺：
我們一直以來，對(duì)Prompt工程的想象，一直都太浪漫了。
總覺得好的提示詞，應(yīng)該是：
結(jié)構(gòu)清晰，層層遞進(jìn)，有role、有 rule、有context、有format，有點(diǎn)像咨詢公司做的 PPT，一頁一頁講邏輯，最后拋給模型一個(gè)完美的問題。
過去兩年，大模型相關(guān)的內(nèi)容里，Prompt也經(jīng)常被講成一種玄學(xué)。
寫提示詞像下咒語一樣，要講究格式、口氣、敬語，要學(xué)一堆咒語模板，甚至要背prompt手冊(cè)。
我其實(shí)一直都不太提倡，所以前段時(shí)間，還寫了我自己的所謂的Prommpt心法：
但其實(shí)說真的，對(duì)很多純粹的問答場景，尤其是短問題，模型壓根不需要你在提示詞上搞太多花活。
你只要安安靜靜，把題目再重復(fù)一遍，就已經(jīng)是一個(gè)極其強(qiáng)力的優(yōu)化。
Google論文里面的未來方向，也寫了一些。
比如：把重復(fù)提示這件事，寫進(jìn)模型的訓(xùn)練流程里，讓模型從預(yù)訓(xùn)練或者微調(diào)階段就習(xí)慣這種結(jié)構(gòu)；或者只在 KV cache 里保留第二遍的提示，讓推理階段的性能完全不受影響；或者只重復(fù)提示詞的一部分，而不是整段全文；甚至還可以考慮在多模態(tài)里重復(fù)，比如圖像、視頻。
我們總是希望用復(fù)雜的語言解決問題，結(jié)果發(fā)現(xiàn)，有時(shí)候最有效的是那句順嘴又重復(fù)的話。
這件事其實(shí)跟很多我們熟悉的領(lǐng)域一樣。
人類社會(huì)其實(shí)一直在用復(fù)制粘貼這個(gè)技能，只不過給它起了很多體面的名字：
復(fù)述、強(qiáng)調(diào)、排比、朗誦、詠唱、抄經(jīng)、背誦、晨讀、開大會(huì)、宣誓、校訓(xùn)等等。
我倒是突然想起一個(gè)很私人化的畫面。
有一陣我數(shù)據(jù)確實(shí)不是很好，感覺內(nèi)容怎么寫都沒人看，方向也有問題，然后本來情緒特別糟糕，還有一堆其他的項(xiàng)目管理的事、各種意外發(fā)生、然后身體也不太好。
那天跟朋友聊微信，實(shí)在沒崩住，哭訴了幾句。
對(duì)方只發(fā)了一句特別簡單的話：
“你已經(jīng)做得很好了?！?/p>
我回了一個(gè)“哈哈哈，哪有”。
過了幾分鐘，他又發(fā)了一遍，還是同一句。
大概又隔了十幾分鐘，他第三次發(fā)過來：
“你已經(jīng)做得很好了，真的?！?/p>
那一瞬間，我突然就沒繃住。
人類的很多情感，其實(shí)都是靠重復(fù)才能構(gòu)筑的。
從這個(gè)角度看，復(fù)制粘貼這事，好像也沒那么卑微。
愛一個(gè)人是日常的復(fù)制粘貼，專業(yè)是一輩子的復(fù)制粘貼，寫作是對(duì)一些想法一遍又一遍的復(fù)制粘貼，
直到有一天，這些東西都不需要你刻意想起，它們自動(dòng)從你的手指和眼神里長出來。
AI 的世界，很大一塊其實(shí)就是壓縮過的人的世界。
當(dāng)你下一次在終端里敲下那一長串Prompt的時(shí)候，也許可以在末尾多敲一次 Ctrl+V。
同樣，當(dāng)你下一次覺得人生很亂的時(shí)候，也許可以找一兩句你真心認(rèn)同的話，寫在記事本、手機(jī)備忘錄、貼在桌邊墻上，反復(fù)去看。
從一堆token里看到真正的重點(diǎn)，需要的是幾次重復(fù)后的清晰。
而從一地雞毛里看到一點(diǎn)點(diǎn)意義，生活，很多時(shí)候也是這樣。
高山之流水。
萬物皆重復(fù)。
以上，既然看到這里了，如果覺得不錯(cuò)，隨手點(diǎn)個(gè)贊、在看、轉(zhuǎn)發(fā)三連吧，如果想第一時(shí)間收到推送，也可以給我個(gè)星標(biāo)?～謝謝你看我的文章，我們，下次再見。
>/ 作者：卡茲克
>/ 投稿或爆料，請(qǐng)聯(lián)系郵箱：wzglyay@virxact.com
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
