iPhone本地跑Gemma 4火了，0 token時代還有多遠？

谷歌前幾天開源的新模型 Gemma 4，給了業內一個大大的驚喜。

它采用了與 Gemini 3 同源的技術架構，支持原生全模態，在 Arena AI 排行榜上拿到了全球第三，而且有多個型號可以選。幾個較小的型號 —— E2B（有效參數 2.3B）和 E4B（有效參數 4.5B）—— 可以直接部署在手機端本地運行，上下文窗口達到 128K，可以說是「可以放進口袋的 Gemini平替」。

不出所料，模型發布后很快就成了手機用戶的新玩具。

其中，一個 X 用戶的帖子被圍觀數十萬次。他在帖子里放了一個視頻，講述自己如何在 iPhone 上本地運行 Gemma 4，包括處理圖片、音頻、控制手電筒開關。他表示，Gemma 4 速度快得驚人，感覺像魔法一樣。

有人在 iPhone 17 Pro 上量化了這一速度，指出如果手機用的是蘋果芯片，那么在針對這套芯片優化的 MLX（蘋果的機器學習框架）的幫助下，模型的推理速度可以超過 40 token / 秒。

還有人在三星 Galaxy 上也跑出了類似的速度，而且還是在開啟了思考模式的情況下。這讓人直呼「快得不真實」。

這樣的速度讓手機端運行 AI 模型成為了未來可以被接受的選項，而且在醫療等敏感場景中非常有用。

128k 的上下文窗口也讓這些小模型變得更有吸引力。

那具體怎么運行呢？其實很簡單，不是極客專屬，因為谷歌發布了官方 App——Google AI Edge Gallery。想在手機上體驗的人可以直接下載這個 App，然后下載想要運行的模型版本，之后打開就能跑了。

而且，由于是谷歌官方發布，安全問題自然也不用太擔心。

除了這些在手機端運行的小模型，還有人在更強的硬件上嘗試了更大的 Gemma 4 版本，比如在 M5 Pro 版本的 MacBook Pro 上運行 Gemma 4 Mixture-of-Experts 26B。

如果是直接對話，這個模型的速度還是很快的，文本生成、代碼解釋都很順暢。

但當他真的將 Gemma 4 當成 coding agent 去用時，問題就來了。因為跑 agent 時需要大上下文（Gemma 4 26B 上下文窗口為 256k）、復雜 prompt 和穩定的工具調用，Gemma 4 在這些地方明顯扛不住，經常卡住、報錯，或者輸出結構不對。

轉折點發生在他將模型換成 qwen3-coder 的時刻 ，同樣環境下，文件創建、命令執行、多步任務都能正常跑。他認為，問題不在 agent 框架，而在模型本身有沒有為「工具調用 + 結構化輸出」做過優化。在這方面，Gemma 4 可能做得還不夠，也有可能這位開發者還沒找到正確的用法。

此外，還有人說，Gemma 4 在智力水平上還有點雞肋。

雖然如此，Gemma 4 這種「性能小鋼炮」的出現依然不容小覷。如果以后大量的日常查詢、聊天、簡單推理、代碼生成、圖像理解任務都可以本地跑了，不再需要買 token，那賣 token 的廠商豈不是處境很尷尬？

當然，當前情況還沒有那么悲觀，畢竟現在被開源出來的模型和前沿的旗艦閉源模型之間還有差距，而且大部分能打的開源模型依然受制于硬件能力，暫時還沒辦法在端側達到可用級別。

但未來的趨勢是清晰的。短期看，云端閉源模型在最前沿的復雜推理和超大規模多代理協作上依然領先；但長期看，當硬件繼續進步、量化技術繼續優化，端側模型會逐步蠶食云端的高頻簡單任務。

那些只靠賣 token、賣 API 訂閱的廠商，將不得不更狠地卷「真正難啃」的部分 —— 超強 Agent、超長可靠上下文、以及需要海量實時數據的專有能力。

Gemma 4 只是一個開始。下一個驚喜，可能就是某款端側模型在日常使用中徹底讓用戶感覺不到「本地」和「云端」的區別。那一天到來時，整個 AI 產業的商業模式，都會迎來一次真正的洗牌。