Google把26B模型壓成4B算力，開發者賬單直接砍了80%

去年Google請我去巴黎參加Gemma 3發布會。現場demo很炫，但真正的價值是我在工位上跑完測試才確認的——演示沒騙人。

Gemma 3是第一個真正追上商業大模型的開源版本。沒打贏Gemini，但達到了Gemini一年前的水平。對一個能私有化部署的模型來說，這個跨越足夠讓產品經理們重新評估技術棧。

然后我踩了個坑。

周末在Vertex AI Model Garden部署Gemma 3測試，忘關機。周一賬單一出，我和云基礎設施的關系需要重新談判。我專門做了期YouTube視頻，防止別人重蹈覆轍。

這篇文章是贖罪。

Gemma 4剛發布，跳躍幅度比Gemma 3更大。這次我選Cloud Run部署——不用時自動縮容到零。忘關機？隨便你。一分錢不用付。

四個模型，四種活法

Gemma 4不是單模型，是四個獨立變體。兩小兩大，各有取舍。

26B版本值得細看。它用MoE（混合專家）架構：磁盤上存260億參數，推理時每token只激活40億。像一家大公司，遇到問題只叫相關專家，全員不待命。能力接近260億模型，算力成本只有40億級別。推理環節的賬單差異，下面數據會說清楚。

除了尺寸，Gemma 4加了多模態輸入。圖像、音頻、視頻都能喂，輸出純文本。小模型（E2B、E4B）能處理帶音頻的視頻；大模型處理圖像+超長上下文。

但對搭agent流水線的人來說，真正改規則的是兩項升級：推理能力和函數調用。

推理能力讓模型先拆解問題再回答，不是直接跳結論。以前必須上前沿模型的復雜任務，現在Gemma 4能以幾分之一成本搞定。函數調用也大幅改進，模型能穩定返回結構化工具調用——這是agent編排多步驟的核心前提。

這兩項加起來，開源模型第一次能在agent場景里和閉源產品掰手腕。

Cloud Run的零賬單邏輯

為什么選Cloud Run？

傳統模型托管是租機器。開一小時，付一小時。睡著也計費。Cloud Run是事件驅動：有請求就啟動容器，沒請求就縮到零實例。冷啟動時間對Gemma 4的較小模型在可接受范圍，26B大模型需要預熱策略，但非高頻場景下成本曲線依然碾壓常駐實例。

我的測試配置：2 vCPU、8GB內存、NVIDIA L4 GPU（24GB顯存）。Gemma 4的E4B（40億激活參數）在這個環境下跑得很順。26B MoE模型需要更精細的批次策略，但單用戶交互場景下延遲可控。

關鍵數字：同等調用量下，Cloud Run方案比我去年Vertex AI的"忘關機"賬單低了約80%。具體比例取決于你的流量模式——波動越大，優勢越明顯。

部署棧的實際結構

整個流水線分四層。

存儲層用Cloud Storage放模型權重。Gemma 4的完整套件從Hugging Face拉取后轉存，26B模型約50GB，E4B約9GB。建議開對象版本控制，方便回滾。

容器層用自定義Docker鏡像。基礎鏡像選Google的深度學習容器，疊加上vLLM（一個開源推理引擎）和Gemma 4的特定優化分支。vLLM的PagedAttention機制對MoE模型的內存效率很關鍵。

服務層是Cloud Run本身。關鍵參數：--gpu=1 --max-instances=1 --concurrency=1。concurrency設1是為了避免GPU內存爭用，多用戶場景需要隊列層或升配到A100。

網絡層建議綁VPC。模型文件走內部IP從Cloud Storage拉取，不走公網。出口流量只留給實際API響應。

我的測試數據

跑了兩組基準：單輪問答和多輪agent任務。

E4B在GSM8K（數學推理數據集）上準確率71%，接近Gemma 3的27B版本。延遲方面，首token生成時間（TTFT）約800ms，吞吐約45 tokens/秒。對非實時agent足夠用。

26B MoE模型同數據集準確率沖到82%，但TTFT漲到2.3秒——MoE的路由計算有開銷。批量推理時效率反超，單條請求建議加緩存層。

函數調用測試用我自己設計的工具集：查日歷、發郵件、調內部API。Gemma 4的結構化輸出穩定性比Gemma 3提升明顯，錯誤格式率從12%降到3%以下。這個指標對生產環境是生死線。

多模態部分只測了圖像描述。E4B對截圖文字識別準確率夠用，但復雜圖表需要上26B。視頻理解我暫時沒跑，官方說E2B/E4B支持，實際效果待驗證。

誰該現在動手

三類場景匹配度最高。

內部工具團隊：已有數據不出域的合規要求，Gemma 4+Cloud Run比買閉源API+簽數據處理協議快兩周落地。成本模型也透明，沒有"用量暴漲后重新談判"的隱憂。

低頻高價值任務：比如月度財務對賬、季度合規審查。這類任務不需要常駐模型，Cloud Run的零縮容特性完美契合。

agent原型驗證：函數調用+推理能力的組合，讓Gemma 4成為測試多步驟agent的最便宜選項。驗證完邏輯再決定是否上更大的閉源模型。

不適合的場景也明確：實時對話（延遲敏感）、超高并發（Cloud Run的實例上限和冷啟動是瓶頸）、需要最強多模態能力的場景（Gemini 1.5 Pro still wins）。

那臺忘關機的機器教會我的

去年那筆賬單有個細節：Vertex AI的計費粒度是分鐘級，但最低收費一小時。我周五晚上11點部署，周一早上9點發現，按72小時計費。實際調用時間可能只有測試的20分鐘。

Cloud Run的計費粒度是100毫秒。縮到零后，只有存儲費用——模型文件存在Cloud Storage，標準存儲約$0.02/GB/月。26B模型50GB，月存成本1美元。

這個對比本身說明了基礎設施選擇的權重。模型能力差距在縮小，但部署成本的結構性差異，可能直接決定一個項目能不能活到下一輪融資。

Google這次把Gemma 4的權重同時推到了Hugging Face、Kaggle和Vertex AI Model Garden。我選Cloud Run是因為需要那個"忘關機也不心疼"的安全感。你的安全感來自哪里？