樹莓派跑AI代理：1臺(tái)200塊小電腦干翻月租300的云服務(wù)

去年Cursor爆火時(shí)，一個(gè)做金融合規(guī)的朋友找我吐槽：他們團(tuán)隊(duì)想用AI寫代碼，但監(jiān)管要求所有代碼審查記錄必須留在本地。Cursor的云端模式直接撞紅線，自建方案又只有Aider這種"單線程工具人"，沒(méi)法做復(fù)雜任務(wù)流。

這事讓我想起早期云計(jì)算的困境——2010年前后，企業(yè)要么買IBM服務(wù)器，要么用AWS，中間地帶一片空白?，F(xiàn)在的AI開發(fā)工具市場(chǎng)，居然重演了這一幕。

于是我開始折騰profClaw：一個(gè)能塞進(jìn)樹莓派、連到任意模型、自己掌控全部數(shù)據(jù)流的代理引擎。三個(gè)月迭代后，它現(xiàn)在跑在我書房的Pi 4上，處理著比大多數(shù)云工具更復(fù)雜的任務(wù)編排。

為什么現(xiàn)有的工具都在"二選一"

當(dāng)前AI編程工具基本分兩派。云端派代表Cursor、Devin、GitHub Copilot——開箱即用，但你的代碼上下文、對(duì)話記錄、甚至思考過(guò)程都流經(jīng)第三方服務(wù)器。對(duì)普通開發(fā)者夠用了，對(duì)醫(yī)療、金融、軍工場(chǎng)景就是死穴。

自建派以Aider為代表，確實(shí)本地運(yùn)行，但功能像瑞士軍刀里的單刀片：能改代碼，不能做CI/CD集成；能調(diào)OpenAI，不能無(wú)縫切換Claude或本地模型。更麻煩的是，它們不解決"多步驟任務(wù)"問(wèn)題——現(xiàn)實(shí)開發(fā)中，改代碼只是鏈條的一環(huán)，前后還有測(cè)試、部署、通知隊(duì)友。

profClaw的野心是填這個(gè)縫：既要有云產(chǎn)品的完整體驗(yàn)，又要數(shù)據(jù)不出戶。技術(shù)選型上，這意味著放棄Python生態(tài)的慣性——大多數(shù)AI工具用Python寫，但Node.js在異步任務(wù)隊(duì)列、實(shí)時(shí)Web界面、跨平臺(tái)打包上有天然優(yōu)勢(shì)。

最終架構(gòu)跑在Node.js上，核心依賴BullMQ做任務(wù)隊(duì)列。不是內(nèi)存里的臨時(shí)數(shù)組，是帶死信隊(duì)列、指數(shù)退避重試、優(yōu)先級(jí)調(diào)度的生產(chǎn)級(jí)方案。進(jìn)程重啟不會(huì)丟任務(wù)，這是云廠商不會(huì)告訴你的細(xì)節(jié)：他們的"可靠"往往只是多副本部署，單節(jié)點(diǎn)故障照樣丟數(shù)據(jù)。

200塊硬件上的"企業(yè)級(jí)"功能清單

樹莓派4B（4GB版）現(xiàn)在的二手價(jià)約200元。profClaw在上面能同時(shí)干這些事：維護(hù)一個(gè)待處理任務(wù)隊(duì)列、實(shí)時(shí)渲染終端界面、追蹤多供應(yīng)商的API調(diào)用成本、與22個(gè)聊天平臺(tái)保持Webhook連接。

成本追蹤模塊是我最早寫的功能之一。不是事后看賬單，是事前設(shè)預(yù)算——可以給每個(gè)模型供應(yīng)商配置token上限，接近閾值時(shí)彈警告。用過(guò)Azure OpenAI的人都知道，這功能能救命：他們的計(jì)費(fèi)延遲動(dòng)輒48小時(shí)，等你看清賬單，測(cè)試環(huán)境已經(jīng)跑掉半個(gè)月預(yù)算。

終端界面（TUI）花了最多時(shí)間打磨。不是簡(jiǎn)單的文字輸出，是流式Markdown渲染、語(yǔ)法高亮、斜杠命令補(bǔ)全、實(shí)時(shí)模型切換下拉框。最實(shí)用的是工具執(zhí)行面板：代理在后臺(tái)調(diào)git、跑測(cè)試、查文檔時(shí)，你能看到每一步的耗時(shí)和輸出，卡住時(shí)能直接中斷。

多代理編排是profClaw區(qū)別于單工具的核心能力。一個(gè)典型場(chǎng)景：收到GitHub PR通知后，調(diào)度器拆出三個(gè)子任務(wù)——代碼審查代理讀diff、測(cè)試代理跑CI、文檔代理檢查變更日志。三個(gè)代理并行執(zhí)行，結(jié)果匯總到Slack線程。這在Cursor里需要手動(dòng)切換窗口，在Aider里根本做不到。

22個(gè)聊天平臺(tái)集成聽起來(lái)像功能堆砌，實(shí)際解決的是"通知碎片化"。我現(xiàn)在的配置：技術(shù)討論走Discord線程，緊急告警推Telegram，客戶溝通回Slack。profClaw的統(tǒng)一Webhook層讓這些渠道的接入變成改配置文件，不用每個(gè)平臺(tái)寫一遍認(rèn)證邏輯。

從"能跑"到"好用"的魔鬼細(xì)節(jié)

早期版本有個(gè)致命問(wèn)題：模型響應(yīng)流式輸出時(shí)，終端會(huì)卡頓。排查后發(fā)現(xiàn)是Markdown解析器阻塞了事件循環(huán)——Node.js的單線程特性在這里成了坑。解法是把解析扔到Worker線程，主線程只負(fù)責(zé)渲染，用SharedArrayBuffer做零拷貝數(shù)據(jù)傳輸。

另一個(gè)坑是模型切換的"狀態(tài)污染"。用戶從Claude切到GPT-4再切回Claude時(shí)，系統(tǒng)提示詞（system prompt）的殘留會(huì)影響后續(xù)對(duì)話。profClaw的上下文管理器給每個(gè)模型實(shí)例隔離了對(duì)話歷史，切換時(shí)做深度清理。這功能云產(chǎn)品通常不做，因?yàn)樗麄兿Ｍ沔i定在一個(gè)模型上。

本地模型支持是profClaw的隱藏技能。通過(guò)Ollama或llama.cpp接口，可以直接連到跑在同級(jí)Pi上的Llama 3 8B。延遲比云端高，但敏感代碼不用出內(nèi)網(wǎng)。實(shí)測(cè)在Pi 4上，8B模型的token生成速度約15 tokens/秒，寫注釋和簡(jiǎn)單重構(gòu)夠用。

擴(kuò)展機(jī)制走插件架構(gòu)，但刻意避開了VS Code那套復(fù)雜的生命周期管理。一個(gè)profClaw插件是標(biāo)準(zhǔn)的npm包，導(dǎo)出工具函數(shù)列表和對(duì)應(yīng)的JSON Schema。代理調(diào)用時(shí)自動(dòng)做參數(shù)校驗(yàn)，失敗時(shí)回退到用戶確認(rèn)。我現(xiàn)在自己維護(hù)了十幾個(gè)內(nèi)部插件：Jira工單創(chuàng)建、Figma變量同步、甚至一個(gè)給貓喂食器發(fā)指令的荒唐工具。

誰(shuí)真的需要自建代理引擎

過(guò)去六個(gè)月，profClaw的GitHub倉(cāng)庫(kù)收到過(guò)三類典型issue。第一類是隱私敏感行業(yè)：律所想用AI審合同，但客戶協(xié)議禁止數(shù)據(jù)出境；醫(yī)院IT部門試探HIPAA合規(guī)的可能性。他們的核心訴求不是功能多強(qiáng)，是"可控"——知道數(shù)據(jù)存在哪、誰(shuí)能訪問(wèn)、日志保留多久。

第二類是模型極客。有人接了Google的Gemini 1.5 Pro，有人試了Mistral的Codestral，還有人在玩本地微調(diào)的領(lǐng)域?qū)Ｓ媚Ｐ?。云產(chǎn)品的模型更新節(jié)奏滿足不了他們，profClaw的OpenAI兼容層讓切換成本降到改一行配置。

第三類最意外：預(yù)算極緊的獨(dú)立開發(fā)者。Cursor Pro每月20美元，對(duì)歐美用戶是咖啡錢，對(duì)東南亞、非洲、南美的開發(fā)者是真實(shí)負(fù)擔(dān)。樹莓派的一次性投入+本地模型零API費(fèi)用，讓AI輔助編程變成了可選項(xiàng)而非奢侈品。

這三類用戶的需求互相沖突。隱私派要極簡(jiǎn)功能減少攻擊面，極客派要無(wú)限擴(kuò)展性，預(yù)算派要零維護(hù)成本。profClaw的妥協(xié)是模塊化：核心運(yùn)行時(shí)約80MB，插件按需加載，TUI可以關(guān)掉換成純API模式。

云廠商不會(huì)告訴你的成本賬

算筆粗賬。假設(shè)一個(gè)5人小團(tuán)隊(duì)，每天用AI輔助編程4小時(shí)，平均輸入輸出各500 token，用Claude 3.5 Sonnet（$3/$15 per million tokens）。月費(fèi)用約：5人 × 20工作日 × 4小時(shí) × 6輪對(duì)話 × 1000 token × $0.003 = $720。

Cursor Pro團(tuán)隊(duì)版每人每月$40，5人$200，但模型調(diào)用另算，實(shí)際總成本接近$500-800。profClaw的自建方案：一次性硬件投入$200（Pi+SD卡+電源），電費(fèi)每月約$2，API調(diào)用成本與直接用Anthropic相同——沒(méi)有中間商抽成。

真正的隱性成本是時(shí)間。profClaw的初次部署需要30-60分鐘：裝Node.js、配環(huán)境變量、連模型供應(yīng)商、調(diào)TUI主題。對(duì)比Cursor的"下載即用"，這門檻篩掉了大量用戶。但過(guò)去三個(gè)月的issue反饋顯示，愿意跨過(guò)門檻的人，平均使用時(shí)長(zhǎng)是云產(chǎn)品用戶的3倍以上——他們投入了沉沒(méi)成本，也更深度定制工作流。

一個(gè)反直覺(jué)的發(fā)現(xiàn)：自建代理的"故障率"反而更低。云服務(wù)的可用性標(biāo)稱99.9%，但實(shí)際體驗(yàn)中，模型響應(yīng)延遲波動(dòng)、功能灰度發(fā)布、賬戶風(fēng)控凍結(jié)都是真實(shí)干擾。profClaw跑在本地，唯一的外部依賴是模型API，故障模式簡(jiǎn)單到可以寫進(jìn)runbook。

樹莓派的性能邊界在哪

坦白說(shuō)，Pi 4不是萬(wàn)能解藥。profClaw的任務(wù)隊(duì)列和TUI跑得很順，但本地模型推理是硬瓶頸。Llama 3 8B的15 tokens/秒意味著寫一段100 token的函數(shù)注釋要7秒，復(fù)雜代碼生成等30秒以上是常態(tài)。

我的實(shí)際配置是"混合模式"：敏感操作走本地小模型，常規(guī)開發(fā)連云端大模型。 profClaw的路由規(guī)則可以按文件類型、任務(wù)類型、甚至正則匹配來(lái)分流。比如所有含"password""secret""key"的文件自動(dòng)走本地模型，業(yè)務(wù)邏輯代碼走Claude。

存儲(chǔ)也是限制。Pi 4的SD卡插槽理論速度100MB/s，實(shí)際隨機(jī)讀寫更慢。 profClaw的日志和任務(wù)狀態(tài)用SQLite，但做了WAL模式優(yōu)化，寫操作先追加再合并。插件代碼建議放USB 3.0外接SSD，避免SD卡磨損。

網(wǎng)絡(luò)穩(wěn)定性比計(jì)算資源更致命。22個(gè)聊天平臺(tái)的Webhook需要公網(wǎng)可達(dá)，家用寬帶的動(dòng)態(tài)IP和端口封鎖是常見問(wèn)題。我的解法是用Cloudflare Tunnel做反向代理，免費(fèi) tier 足夠個(gè)人使用，但增加了外部依賴——這是自建方案無(wú)法完全消除的妥協(xié)。

下一步：當(dāng)代理開始互相調(diào)用

profClaw最近一個(gè)實(shí)驗(yàn)性功能是"代理發(fā)現(xiàn)協(xié)議"。多個(gè)profClaw實(shí)例可以在局域網(wǎng)內(nèi)廣播自己的能力，比如Pi A擅長(zhǎng)代碼審查，Pi B接了本地知識(shí)庫(kù)，Pi C有生產(chǎn)環(huán)境SSH權(quán)限。用戶提交任務(wù)時(shí)，調(diào)度器自動(dòng)拆解并分發(fā)給最合適的節(jié)點(diǎn)。

這聽起來(lái)像Kubernetes的Pod調(diào)度，但粒度更細(xì)——不是分配容器，是分配"思考任務(wù)"。我在辦公室部署了3個(gè)Pi節(jié)點(diǎn)，處理不同安全級(jí)別的需求。財(cái)務(wù)相關(guān)代碼必須跑在物理隔離的Pi上，通用開發(fā)任務(wù)走主節(jié)點(diǎn)，實(shí)驗(yàn)性功能在第三個(gè)Pi上隨便折騰。

更長(zhǎng)遠(yuǎn)的想法是"可組合的智能"?，F(xiàn)在的AI工具把模型當(dāng)黑盒，輸入prompt輸出結(jié)果。profClaw嘗試把模型調(diào)用拆解為可觀察、可攔截、可替換的中間件：預(yù)處理層做RAG檢索、后處理層做輸出校驗(yàn)、執(zhí)行層做工具調(diào)用。每層都可以插拔，比如把Claude換成自研小模型，其他層保持不變。

一個(gè)尚未公開的功能是"對(duì)話分叉"。TUI里按某個(gè)快捷鍵，當(dāng)前對(duì)話會(huì)分裂成兩個(gè)并行分支，測(cè)試不同模型或不同提示策略的效果。這對(duì)prompt工程很有用，但UI復(fù)雜度爆炸，還在打磨交互細(xì)節(jié)。

開源社區(qū)的反饋比預(yù)期活躍。最意外的貢獻(xiàn)來(lái)自一個(gè)用profClaw控制3D打印機(jī)的用戶——他把G-code生成任務(wù)丟給代理，用自然語(yǔ)言描述模型修改，自動(dòng)轉(zhuǎn)譯成打印指令。這完全偏離了"編程工具"的初衷，但證明了抽象層的價(jià)值：當(dāng)任務(wù)隊(duì)列、成本追蹤、多平臺(tái)通知都就緒后，上層應(yīng)用可以千奇百怪。

也有冷水的聲音。有人質(zhì)疑Node.js在AI生態(tài)的孤立：Python有Hugging Face、LangChain、LlamaIndex的完整鏈條，Node.js只有零散的包裝庫(kù)。我的回應(yīng)是 profClaw的定位不是"另一個(gè)LangChain"，是"基礎(chǔ)設(shè)施"——它不管模型從哪來(lái)，只保證任務(wù)可靠執(zhí)行、成本可追蹤、界面可交互。模型層的創(chuàng)新速度遠(yuǎn)超編排層，綁定太深反而被動(dòng)。

書房的Pi 4已經(jīng)穩(wěn)定運(yùn)行了四個(gè)月，處理過(guò)大概1200個(gè)任務(wù)，總API成本$47。最近一次故障是家里斷電，UPS撐了20分鐘后系統(tǒng)優(yōu)雅關(guān)機(jī)，來(lái)電后自動(dòng)恢復(fù)——這比某些云服務(wù)的"意外維護(hù)"還可靠。

如果你也在某個(gè)深夜被Cursor的"服務(wù)暫時(shí)不可用"打斷過(guò)思路，或者在合規(guī)文檔里讀到"數(shù)據(jù)不得跨境傳輸"時(shí)皺過(guò)眉頭，或許值得花一個(gè)周末，看看200塊硬件能撐起多大的自主空間。畢竟，云廠商的"方便"從來(lái)不是免費(fèi)的，只是賬單寄給了未來(lái)的你。

最后一個(gè)問(wèn)題留給你：當(dāng)AI代理的調(diào)用成本降到接近零，你是更愿意為"零維護(hù)"支付溢價(jià)，還是為"完全可控"投入時(shí)間？profClaw的GitHub倉(cāng)庫(kù)里，有個(gè)issue已經(jīng)討論了73樓，至今沒(méi)有共識(shí)。