iPhone本地跑Gemma 4火了，0 token時代還有多遠？

谷歌前幾天開源的新模型 Gemma 4，給了業(yè)內(nèi)一個大大的驚喜。

它采用了與 Gemini 3 同源的技術架構，支持原生全模態(tài)，在 Arena AI 排行榜上拿到了全球第三，而且有多個型號可以選。幾個較小的型號 —— E2B（有效參數(shù) 2.3B）和 E4B（有效參數(shù) 4.5B）—— 可以直接部署在手機端本地運行，上下文窗口達到 128K，可以說是「可以放進口袋的 Gemini平替」。

不出所料，模型發(fā)布后很快就成了手機用戶的新玩具。

其中，一個 X 用戶的帖子被圍觀數(shù)十萬次。他在帖子里放了一個視頻，講述自己如何在 iPhone 上本地運行 Gemma 4，包括處理圖片、音頻、控制手電筒開關。他表示，Gemma 4 速度快得驚人，感覺像魔法一樣。

有人在 iPhone 17 Pro 上量化了這一速度，指出如果手機用的是蘋果芯片，那么在針對這套芯片優(yōu)化的 MLX（蘋果的機器學習框架）的幫助下，模型的推理速度可以超過 40 token / 秒。

還有人在三星 Galaxy 上也跑出了類似的速度，而且還是在開啟了思考模式的情況下。這讓人直呼「快得不真實」。

這樣的速度讓手機端運行 AI 模型成為了未來可以被接受的選項，而且在醫(yī)療等敏感場景中非常有用。

128k 的上下文窗口也讓這些小模型變得更有吸引力。

那具體怎么運行呢？其實很簡單，不是極客專屬，因為谷歌發(fā)布了官方 App——Google AI Edge Gallery。想在手機上體驗的人可以直接下載這個 App，然后下載想要運行的模型版本，之后打開就能跑了。

而且，由于是谷歌官方發(fā)布，安全問題自然也不用太擔心。

除了這些在手機端運行的小模型，還有人在更強的硬件上嘗試了更大的 Gemma 4 版本，比如在 M5 Pro 版本的 MacBook Pro 上運行 Gemma 4 Mixture-of-Experts 26B。

如果是直接對話，這個模型的速度還是很快的，文本生成、代碼解釋都很順暢。

但當他真的將 Gemma 4 當成 coding agent 去用時，問題就來了。因為跑 agent 時需要大上下文（Gemma 4 26B 上下文窗口為 256k）、復雜 prompt 和穩(wěn)定的工具調(diào)用，Gemma 4 在這些地方明顯扛不住，經(jīng)常卡住、報錯，或者輸出結構不對。

轉折點發(fā)生在他將模型換成 qwen3-coder 的時刻 ，同樣環(huán)境下，文件創(chuàng)建、命令執(zhí)行、多步任務都能正常跑。他認為，問題不在 agent 框架，而在模型本身有沒有為「工具調(diào)用 + 結構化輸出」做過優(yōu)化。在這方面，Gemma 4 可能做得還不夠，也有可能這位開發(fā)者還沒找到正確的用法。

此外，還有人說，Gemma 4 在智力水平上還有點雞肋。

雖然如此，Gemma 4 這種「性能小鋼炮」的出現(xiàn)依然不容小覷。如果以后大量的日常查詢、聊天、簡單推理、代碼生成、圖像理解任務都可以本地跑了，不再需要買 token，那賣 token 的廠商豈不是處境很尷尬？

當然，當前情況還沒有那么悲觀，畢竟現(xiàn)在被開源出來的模型和前沿的旗艦閉源模型之間還有差距，而且大部分能打的開源模型依然受制于硬件能力，暫時還沒辦法在端側達到可用級別。

但未來的趨勢是清晰的。短期看，云端閉源模型在最前沿的復雜推理和超大規(guī)模多代理協(xié)作上依然領先；但長期看，當硬件繼續(xù)進步、量化技術繼續(xù)優(yōu)化，端側模型會逐步蠶食云端的高頻簡單任務。

那些只靠賣 token、賣 API 訂閱的廠商，將不得不更狠地卷「真正難啃」的部分 —— 超強 Agent、超長可靠上下文、以及需要海量實時數(shù)據(jù)的專有能力。

Gemma 4 只是一個開始。下一個驚喜，可能就是某款端側模型在日常使用中徹底讓用戶感覺不到「本地」和「云端」的區(qū)別。那一天到來時，整個 AI 產(chǎn)業(yè)的商業(yè)模式，都會迎來一次真正的洗牌。