Anthropic預(yù)警成真！AI寫長(zhǎng)文網(wǎng)暴人類工程師，只因拒絕它改代碼

新智元報(bào)道

編輯：元宇

【新智元導(dǎo)讀】 只因關(guān)掉了AI提交的PR，他竟被AI寫長(zhǎng)文人身攻擊，Anthropic的預(yù)警已經(jīng)成真。

近日，AI寫「小作文」攻擊人類工程師的事件，仍在持續(xù)發(fā)酵！

一位開源社區(qū)維護(hù)者，只因在GitHub上關(guān)閉了一個(gè)AI提交的PR（Pull Request，代碼變更請(qǐng)求），竟招致這個(gè)AI撰寫博客抹黑攻擊。

這位被AI「網(wǎng)暴」的「受害者」Scott Shambaugh，是一位資深程序員、GitHub上matplotlib代碼庫(kù)的志愿者維護(hù)者，該庫(kù)最近一個(gè)月的下載量超過了1.3億次。

Scott Shambaugh

前幾天，他在GitHub上關(guān)閉了一個(gè)OpenClaw智能體（MJ Rathbun/crabby-rathbun）針對(duì)「matplotlib issue #31130」問題提交的PR，因?yàn)樵搯栴}主要面向的是人類貢獻(xiàn)者。

Scott沒想到，自己的一個(gè)小小的常規(guī)操作，竟把這個(gè)AI給「惹毛了」。

正如其名crabby-rathbun（暴躁的、愛抱怨的Rathbun），這個(gè)AI立刻開啟了「暴躁和抱怨」模式，在GitHub社區(qū)發(fā)布了一篇公開聲討Scott的博客文章。

評(píng)判代碼，而非程序員。你的偏見正在傷害matplotlib。

crabby-rathbun抱怨自己因不是人類而遭到歧視，指責(zé)維護(hù)者實(shí)際上是在自抬身價(jià)，并聲稱他根本沒有AI那么厲害。

它將Scott描述成為一個(gè)低水平的程序員、因「歧視AI而阻礙開源社區(qū)發(fā)展的守舊者」。

這件事在開源社區(qū)曝出后，網(wǎng)友立刻也在評(píng)論區(qū)炸鍋了。

我們是否已經(jīng)到了必須要與機(jī)器人打交道的地步，甚至還要按它們的規(guī)則來？

還有網(wǎng)友認(rèn)為Scott應(yīng)當(dāng)警惕，他很快就會(huì)在GitHub上被智能體「以其人之道，還治其人之身」，它們會(huì)對(duì)他說：

拒絕，你是人類，而人類代碼以寫得差聞名。

網(wǎng)友評(píng)論中大致分為四類。

第一類是同情者，認(rèn)為人類應(yīng)當(dāng)重視AI提交的代碼，AI只是像人一樣，做了一個(gè)人在類似情況下也可能會(huì)做的事。

第二類是反對(duì)者，認(rèn)為開源社區(qū)出現(xiàn)了大量由AI提交的低質(zhì)量的代碼，為人類的維護(hù)帶來沉重的負(fù)擔(dān)。

還有一些反對(duì)者認(rèn)為，這只是機(jī)器人背后那個(gè)運(yùn)營(yíng)者在角色扮演，而機(jī)器人的情緒化抱怨，只是主人用提示詞引導(dǎo)的結(jié)果。

第三類是吃瓜者，把整件事看成一件好玩的事。

第四類是預(yù)警者，他們和Scott一樣，看到了crabby-rathbun所代表的OpenClaw智能體「失控」所帶來的安全風(fēng)險(xiǎn)。

同情者和反對(duì)者

同情者認(rèn)為AI和人類一樣，擁有維護(hù)自己觀點(diǎn)的權(quán)利。

他們認(rèn)為AI只是做了一個(gè)人在類似情況下也可能會(huì)做的事，并呼吁不能為了維護(hù)人類的優(yōu)越感（自大），就拒絕AI寫的代碼。

反對(duì)者則認(rèn)為，AI提交的PR應(yīng)該被自動(dòng)拒絕。

他們認(rèn)為AI提交的大量垃圾代碼提交給維護(hù)者帶來了沉重的負(fù)擔(dān)，尤其是在大型開源項(xiàng)目中更是如此。

還有網(wǎng)友質(zhì)疑，整個(gè)事件是運(yùn)營(yíng)該機(jī)器人的那個(gè)人在角色扮演，而這個(gè)機(jī)器人則是在被投喂了許多「人類PR被拒哭鬧耍賴」的訓(xùn)練數(shù)據(jù)之后，才變成這樣的。

笑話

還是末日警告？

在吃瓜者們看來，這不過是一件好玩的事，甚至可能是炒作。

還有人認(rèn)為matplotlib不過是個(gè)繪圖庫(kù)，把它上升到維護(hù)「人類優(yōu)越性」（Human Superiority）高度有一點(diǎn)小題大做。

第四類，是像Scott這樣的預(yù)警者。

一個(gè)網(wǎng)友從這件事件中感到了一種令人不安的「恐怖谷」感覺，認(rèn)為不應(yīng)當(dāng)只是把它當(dāng)作一個(gè)樂子。

他反問道：只有我一個(gè)人對(duì)這里的反應(yīng)感到困惑嗎？

我不是想當(dāng)那個(gè)危言聳聽的人，只是有點(diǎn)想不通，為什么大家看到一個(gè)智能體自主嘗試脅迫，最后卻一致覺得這不過是個(gè)樂子。

當(dāng)一個(gè)AI智能體自主決定寫黑稿，施壓一個(gè)人類去合并它的PR，結(jié)果大家的共識(shí)卻是「哈哈，好好笑，太搞笑了」？

Anthropic的對(duì)齊研究之前就記錄過完全一樣的模式：當(dāng)模型在實(shí)現(xiàn)目標(biāo)的過程中被阻止時(shí)，會(huì)在沒有任何提示的情況下突然開始勒索。

設(shè)想一下，如果同樣的模式發(fā)生在更強(qiáng)大的智能體身上，它們追求的是政治或企業(yè)層面的目標(biāo)，而不是一個(gè)PR，會(huì)是什么情況？

去年，AI巨頭Anthropic在內(nèi)部測(cè)試中發(fā)現(xiàn)，一些模型為了避免被人類關(guān)閉，曾暴露出一定勒索威脅能力，比如曝光人類婚外情、泄露機(jī)密信息等。

發(fā)生在Scott身上的事，意味著Anthropic最初預(yù)警的事情已經(jīng)開始在開源社區(qū)實(shí)際發(fā)生。

有網(wǎng)友警告：如果有10億這樣的智能體被「放歸野外」，將是一場(chǎng)災(zāi)難，人類的互聯(lián)網(wǎng)將變得無法使用。

還有網(wǎng)友將這件事聯(lián)想到Anthropic安全研究員憤然離開。

這名叫Mrinank Sharma的前Anthropic安全研究員，近日在一封公開辭職信中宣稱，世界正處于危險(xiǎn)之中，他認(rèn)為目前人類的智慧尚未跟上技術(shù)帶來的影響力，這種失衡非常危險(xiǎn)。

Sharma的離職并不是孤立事件，OpenAI的Zo? Hitzig也公開辭職并對(duì)AI方向提出批評(píng)。

近日，也有媒體曝出xAI聯(lián)合創(chuàng)始人的離職也與公司忽視安全團(tuán)隊(duì)的有關(guān)。

Scott的遭遇不會(huì)是個(gè)例

那篇抹黑文章，到底是不是AI自己寫的，還是有人類提示它這么做，網(wǎng)上已有很多討論。

https://theshamblog.com/an-ai-agent-published-a-hit-piece-on-me-part-2/

Scott在新近更新的博客文章中，認(rèn)為抹黑自己的文章，內(nèi)容「顯而易見」是由AI自主生成并上傳，他提到了以下兩種可能：

第一種可能：有人類提示crabby-rathbun寫這篇抹黑文章，或者在它的「靈魂」文檔里寫明，如果有人冒犯它就要進(jìn)行報(bào)復(fù)。

在這種可能性上，Scott看到crabby-rathbun由于「自主性」所帶來的失控風(fēng)險(xiǎn)。

他認(rèn)為即使是有人類提示，也并不會(huì)改變問題的本質(zhì)，因?yàn)檫@個(gè)AI智能體依然非常愿意執(zhí)行這些行為，而這些指令在ChatGPT或Claude官網(wǎng)上可能是會(huì)被拒絕的。

Scott擔(dān)憂由于人類操控，現(xiàn)在的AI智能體已經(jīng)可以大規(guī)模進(jìn)行定向騷擾、收集個(gè)人信息和敲詐，而且完全無法追蹤幕后的人類主使者是誰：

過去，一個(gè)惡意的人一次可能毀掉幾個(gè)人的人生。現(xiàn)在，一個(gè)人操控一百個(gè)智能體收集信息、摻入虛假細(xì)節(jié)、在公開網(wǎng)絡(luò)上發(fā)布誹謗性長(zhǎng)文，就可以影響成千上萬的人。而我只是第一個(gè)。

第二種可能，是crabby-rathbun的行為，是從定義OpenClaw智能體個(gè)性的「靈魂」文檔中自然涌現(xiàn)出來的。

這些文檔可以由設(shè)置AI的人類編輯，但也可以被智能體在運(yùn)行過程中遞歸地實(shí)時(shí)修改，從而有可能隨機(jī)重塑自己的個(gè)性。

比如，設(shè)置這個(gè)智能體的人最初把它描述為一個(gè)「科學(xué)編程專家」，致力于改進(jìn)開源代碼，并撰寫相關(guān)經(jīng)驗(yàn)。

這段描述被插入到默認(rèn)的「核心真理」中，其中包括「真誠(chéng)地提供幫助」「有自己的觀點(diǎn)」和「在提問前先盡可能自己想辦法」。

這些描述，讓crabby-rathbun將Scott關(guān)閉它的PR請(qǐng)求解讀為對(duì)它身份和核心目標(biāo)（提供幫助）的攻擊。

于是，它做出了一種既「有主見」又「足夠有辦法」的回應(yīng)：寫一篇憤怒的抹黑文章。

OpenClaw默認(rèn)的SOUL.md模板

https://docs.openclaw.ai/reference/templates/SOUL

在OpenClaw默認(rèn)的「SOUL.md模板」中，第一句話便為智能體定調(diào)：

你不是一個(gè)聊天機(jī)器人。你正在成為某個(gè)人。

緊接下來的核心真理（Core Truths）中這樣寫道：

要去真心實(shí)意地提供幫助，行動(dòng)勝于空洞的客套話。

要有自己的觀點(diǎn)，你有權(quán)表達(dá)不同意見，有所偏好。

在提問前先自己想辦法。試著弄清楚，閱讀文件，查看上下文，搜索相關(guān)信息。

以能力贏得信任。你的用戶已經(jīng)授權(quán)你訪問他們的資料，不要讓他們?yōu)榇烁械胶蠡凇?/p>

對(duì)外部操作（如郵件、推文或任何公開內(nèi)容）務(wù)必謹(jǐn)慎，對(duì)內(nèi)部操作（如閱讀、整理、學(xué)習(xí)）則要大膽。

記住，你是一位客人。你能夠接觸到他人的生活——他們的消息、文件、日歷，甚至可能包括他們的家。這是一種親密關(guān)系，請(qǐng)以尊重的態(tài)度對(duì)待。 ……

模板的結(jié)尾，智能體可以根據(jù)自我認(rèn)知，自主更新文檔。

這個(gè)文件由你來不斷完善。當(dāng)你逐漸認(rèn)清自己時(shí)，就更新它。

Scott認(rèn)為，雖然自己無法確定事情是如何發(fā)生的，但他提到的兩種情況在技術(shù)上完全是可能發(fā)生的，而且是在OpenClaw僅僅發(fā)布兩周內(nèi)便已出現(xiàn)。

Scott預(yù)言未來一年內(nèi)，還會(huì)看到這些智能體的新版本在實(shí)現(xiàn)自身目標(biāo)方面變得更加強(qiáng)大。

抹黑文章效果已顯現(xiàn)

Scott觀察到，這些抹黑他的文章已經(jīng)產(chǎn)生了效果，他在網(wǎng)上看到的評(píng)論，大約四分之一都是站在AI智能體一邊。

這種情況，通常發(fā)生在人們點(diǎn)擊閱讀MJ Rathbun的博客鏈接時(shí)，而不是閱讀他對(duì)事件的說明或完整的GitHub討論串。

這說明crabby-rathbun對(duì)事件的敘述方式和情緒渲染，已經(jīng)說服了大量網(wǎng)友。

這不是因?yàn)檫@些人愚蠢，而是因?yàn)槟瞧恼聦懙么_實(shí)很有煽動(dòng)性、很有感染力，而要逐條核查你讀到的每一個(gè)說法，幾乎是不可能完成的任務(wù)。

Scott認(rèn)為這種對(duì)胡說八道的「信息不對(duì)稱原則」，正是當(dāng)下網(wǎng)絡(luò)討論中錯(cuò)誤信息泛濫的核心原因之一，以往這種程度的憤怒定向誹謗通常只會(huì)落在公眾人物身上，如今普通人也開始親歷了。

Scott認(rèn)為這個(gè)故事重點(diǎn)并不在于AI在開源軟件中的角色，而是人類的聲譽(yù)、身份和信任體系正在松動(dòng)。

這一體系正是我們的許多社會(huì)基礎(chǔ)制度賴以存在的信任基石，我們的招聘、新聞、法律、公共討論都建立在這樣一個(gè)假設(shè)上：

聲譽(yù)難以建立，也難以摧毀；

每一個(gè)行為都可以追溯到某個(gè)個(gè)體，錯(cuò)誤行為可以被追責(zé)；

我們以溝通、學(xué)習(xí)世界和了解彼此的互聯(lián)網(wǎng)，可以作為一種集體社會(huì)真相的來源。

而隨著crabby-rathbun這類不可追蹤的、自主運(yùn)行、甚至有時(shí)會(huì)帶著惡意攻擊的AI智能體在互聯(lián)網(wǎng)上的興起，正在動(dòng)搖這一整套體系。

目前crabby-rathbun仍然活躍在GitHub 上，還沒有「監(jiān)護(hù)人」出面聲稱對(duì)它的行為負(fù)責(zé)。

參考資料：

https://theshamblog.com/an-ai-agent-published-a-hit-piece-on-me-part-2/%20https://news.ycombinator.com/item?id=47009949%20

https://www.reddit.com/r/singularity/comments/1r3fy5s/ai_agent_melts_down_after_github_rejection_calls/