![]()
Claude Code 近期遭遇的一輪“變笨”爭議,終于等來了 Anthropic 的正式回應(yīng)。
![]()
在用戶連續(xù)數(shù)周抱怨 Claude Code 輸出質(zhì)量下降后,Anthropic 承認,這款編程工具的體驗確實出現(xiàn)了問題。
但同時否認外界關(guān)于其“故意削弱模型能力”的猜測,稱問題并不在底層模型,而是出在 Claude Code 產(chǎn)品層的一系列調(diào)整上。
之前,AMD AI 負責人 Stella Laurenzo 發(fā)帖稱,Claude Code 已經(jīng)退化到“不能被信任去完成復(fù)雜工程任務(wù)”的程度,并給出了 6852 個 Claude Code 會話文件、234760 次工具調(diào)用和 17871 個 thinking block 的分析。
Anthropic 在 4 月 23 日發(fā)布的復(fù)盤文章中表示,排查后發(fā)現(xiàn),近期體驗下降主要由 3 個問題疊加造成。
第一個問題發(fā)生在 3 月 4 日。
Anthropic 將 Claude Code 的默認推理強度從 high 調(diào)整為 medium,原本是為了降低部分用戶在 high 模式下遇到的超長延遲,因為有時界面看起來像是卡住了。但現(xiàn)在承認,這是一個錯誤的取舍。用戶更希望默認獲得更高智能表現(xiàn),而不是為了簡單任務(wù)犧牲能力。Anthropic 已在 4 月 7 日撤回這一調(diào)整。該問題影響了 Sonnet 4.6 和 Opus 4.6。
第二個問題發(fā)生在 3 月 26 日。
Anthropic 上線了一項緩存優(yōu)化,目標是在會話閑置超過 1 小時后,清理 Claude 較早的 thinking 內(nèi)容,從而降低用戶恢復(fù)會話時的延遲。但其中一個 bug 導(dǎo)致系統(tǒng)不是只清理一次,而是在之后的每一輪對話里持續(xù)清理舊 reasoning 內(nèi)容。這讓 Claude 看起來更健忘、更容易重復(fù),也更容易做出奇怪的工具調(diào)用選擇。該問題已在 4 月 10 日修復(fù),影響范圍同樣包括 Sonnet 4.6 和 Opus 4.6。
第三個問題發(fā)生在 4 月 16 日。
Anthropic 為了減少 Claude Code 的冗長輸出,在系統(tǒng)提示詞中加入了更強的長度限制。但這一調(diào)整與其他提示詞變更疊加后,意外損害了編碼質(zhì)量。Anthropic 后續(xù)通過更廣泛的評測發(fā)現(xiàn),這一改動會讓 Opus 4.6 和 Opus 4.7 的相關(guān)評測結(jié)果下降約 3%,因此已在 4 月 20 日回滾。該問題影響了 Sonnet 4.6、Opus 4.6 和 Opus 4.7。
Claude Code 不是單點故障,而是幾次看似合理的產(chǎn)品優(yōu)化疊在一起,最終讓用戶感知成了一場大范圍“降智”。
Anthropic 表示,從 3 月初就開始調(diào)查相關(guān)反饋,但一開始很難把這些反饋和正常的用戶體驗波動區(qū)分開來,內(nèi)部使用和評測也沒有立刻復(fù)現(xiàn)這些問題。
但 Anthropic 強調(diào),沒有故意削弱模型,也沒有讓 API 或推理層發(fā)生降級。底層模型本身沒有受影響,問題來自 Claude Code 的默認參數(shù)、上下文管理和系統(tǒng)提示詞調(diào)整。
![]()
但上線后,用戶很快開始反饋 Claude Code “沒有以前聰明”。
Anthropic 后來嘗試通過啟動提醒、內(nèi)聯(lián)推理強度選擇器、恢復(fù) ultrathink 等設(shè)計調(diào)整,讓用戶更容易看到當前設(shè)置并手動切換。
但大多數(shù)用戶仍停留在 medium 默認設(shè)置。聽取更多客戶反饋后,Anthropic 在 4 月 7 日撤銷這一決定。
現(xiàn)在,Opus 4.7 默認使用 xhigh 推理強度,其他模型默認使用 high。
關(guān)于緩存 bug。
Anthropic 解釋稱,Claude 在執(zhí)行任務(wù)時,reasoning 通常會保留在對話歷史中,這樣后續(xù)每一輪都能看到此前為什么做出某些編輯和工具調(diào)用。3 月 26 日的優(yōu)化原本是為了在長時間閑置會話恢復(fù)時減少未緩存 token,降低成本和延遲。但實現(xiàn)中出現(xiàn) bug,導(dǎo)致舊 thinking 在之后每一輪都被持續(xù)丟棄。隨著對話繼續(xù),Claude 會越來越缺少此前決策依據(jù),于是表現(xiàn)為健忘、重復(fù)和工具選擇異常。
Anthropic 還認為,這個 bug 可能也是一些用戶反饋“使用額度消耗比預(yù)期更快”的原因,因為持續(xù)丟棄 thinking block 會導(dǎo)致后續(xù)請求反復(fù)出現(xiàn)緩存未命中。
這個問題位于 Claude Code 的上下文管理、Anthropic API 和 extended thinking 的交叉處,因此不容易排查。相關(guān)變更經(jīng)過了人工審查、自動代碼審查、單元測試、端到端測試、自動驗證和內(nèi)部試用,但仍然沒有被及時發(fā)現(xiàn)。
關(guān)于系統(tǒng)提示詞問題。
Anthropic 表示,Opus 4.7 相比前代有一個明顯行為特點:更啰嗦。
雖然這種傾向有助于提升復(fù)雜問題上的表現(xiàn),但也會產(chǎn)生更多輸出 token。為此,在 Claude Code 中加入了更強的簡潔性要求,限制工具調(diào)用之間的文字和最終回復(fù)長度。經(jīng)過數(shù)周內(nèi)部測試后,這一調(diào)整隨 Opus 4.7 在 4 月 16 日上線。
但在后續(xù)調(diào)查中,Anthropic 通過更廣泛的 ablation 測試發(fā)現(xiàn),系統(tǒng)提示詞中的某些限制確實會損害編碼質(zhì)量。于是在 4 月 20 日版本中回滾了相關(guān)提示詞。
后續(xù)改進方面。
Anthropic 表示,將采取幾項措施避免類似問題再次發(fā)生。會讓更多內(nèi)部員工使用與公眾完全一致的 Claude Code 版本,而不是主要使用帶有新功能測試的內(nèi)部版本;同時會改進內(nèi)部使用的 Code Review 工具,并把改進后的版本提供給客戶。
Anthropic 還會加強對系統(tǒng)提示詞變更的控制。
未來,Claude Code 的每一次系統(tǒng)提示詞調(diào)整,都將經(jīng)過更廣泛的分模型評測,并繼續(xù)通過 ablation 分析每一行提示詞的影響。公司還開發(fā)了新的工具,讓提示詞變更更容易被審查和審計。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.