蘋果Mac電腦運行本地大語言模型迎來性能飛躍

Ollama是一個專門在本地計算機上運行大語言模型的運行時系統，現已新增對蘋果開源機器學習框架MLX的支持。此外，Ollama還改進了緩存性能，并支持英偉達的NVFP4格式進行模型壓縮，大幅提升了特定模型的內存使用效率。

這些改進結合在一起，為搭載蘋果芯片（M1或更新版本）的Mac電腦帶來了顯著的性能提升。時機恰到好處，因為本地模型正開始在研究者和愛好者群體之外獲得更廣泛的關注。

最近OpenClaw的爆紅現象——在GitHub上迅速獲得超過30萬個星標，通過Moltbook等實驗引起轟動，并在中國引起特別關注——讓許多人開始嘗試在自己的機器上運行模型。

隨著開發者對Claude Code或ChatGPT Codex等工具的速率限制和高昂訂閱費用感到沮喪，本地編程模型的實驗熱度不斷升溫。（Ollama最近還擴展了Visual Studio Code集成功能。）

新支持功能目前處于預覽階段（Ollama 0.19版本），目前僅支持一個模型——阿里巴巴Qwen3.5的350億參數版本。對于普通用戶來說，硬件要求相當嚴格。根據Ollama的公告，用戶不僅需要配備蘋果芯片的Mac電腦，還需要至少32GB的內存。

此外，Ollama現在能夠利用蘋果M5系列GPU中的全新神經加速器，因此那些最新款Mac應該在每秒Token數和Token響應時間方面獲得額外優勢。

雖然本地模型在基準測試中仍落后于前沿模型，但我們正逐漸達到這樣一個程度：它們在某些任務上已經足夠好，用戶可能無需為此付費訂閱。當然，與基于云的服務相比，本地運行模型還具有隱私優勢，不過我們絕對不推薦像OpenClaw那樣讓模型深度訪問系統的設置。主要障礙仍然是設置難度（Ollama主要是命令行工具，盡管已有其他界面可用）和硬件能力，特別是顯存需求。

蘋果的MLX框架為蘋果芯片的內存提供了優化訪問，GPU和CPU共享內存——這與Ollama之前針對的配備獨立GPU的臺式機采用了不同的方法。這并不意味著對大多數用戶來說云端模型和本地模型之間的差距完全消失，但對現代Mac用戶來說，這可能是朝著正確方向邁出的一步。

Ollama尚未公布MLX支持何時退出預覽階段并擴展到更多模型的時間表。

Q&A

Q1：Ollama的MLX支持有什么新功能？

A：Ollama新增了對蘋果開源機器學習框架MLX的支持，還改進了緩存性能，并支持英偉達的NVFP4格式進行模型壓縮，為搭載蘋果芯片的Mac電腦帶來顯著性能提升。

Q2：使用Ollama的MLX支持需要什么硬件配置？

A：需要配備蘋果芯片（M1或更新版本）的Mac電腦，并且至少需要32GB內存。搭載M5系列GPU的最新Mac還能獲得額外的性能優勢。

Q3：本地大語言模型相比云端模型有什么優勢？

A：本地模型的主要優勢是隱私保護，用戶數據不需要上傳到云端。此外，對于某些任務，本地模型已經足夠好用，可以避免付費訂閱云端服務的費用。