硬核博主用四臺Mac Studio打造AI集群：1.5TB統一內存、總價接近4萬美元

YouTube 博主 Jeff Geerling 近日發布了一篇博文和一段視頻，詳細介紹了他使用 Mac Studio 打造 AI 集群的體驗，主要展示了 Thunderbolt 5 接口在集群計算中的應用。

蘋果最新 macOS 26.2 加入了 RDMA（Remote Direct Memory Access） over Thunderbolt 5 支持，這讓多臺 Mac Studio 能夠像共享同一塊大內存一樣協同工作。

簡單來說，利用 RDMA，數臺 Mac Studio 之間可以直接在內存層面高速交換數據，延遲明顯降低（顯著優于傳統網絡傳輸方式）。

這次測試中，Jeff Geerling 將 4 臺配備統一內存的 Mac Studio 組合成一個“集群”，合計達到 約 1.5 TB 的內存池容量（每臺機器共享內存，看起來像是擁有一塊巨大的虛擬內存）。

用途與性能亮點

• 該內存融合技術對 運行超大 AI 模型有明顯提升，特別是模型參數巨大的推理任務上表現出更流暢的數據交換。

• RDMA 讓各臺機器間的數據訪問延遲從數百微秒降到幾十微秒級別，極大改善了協同計算效率。

• 使用開源項目 Exo 1.0 管理集群內的任務分配與內存共享，是實現協作運行的重要工具。

實際配置與成本

• 這套四機集群的硬件成本接近 4 萬美元，主要由 Mac Studio 本體構成。

• 單機運行本身就具有非常強的性能表現：M3 Ultra Mac Studio 在多核計算和 AI 推理任務中不弱于某些專業服務器。

下面是一些性能測試對比：

雖然 RDMA over Thunderbolt 5 是一項令人振奮的進展，但當前仍有一些限制，比如需要手動啟用 RDMA，且設置過程比較繁瑣。此外受限于 Thunderbolt 連接拓撲，目前最多只能通過點對點方式交叉連接最多 4 臺機器。對比傳統企業級互連（例如 QSFP 或 InfiniBand），Thunderbolt 的物理插拔與連接方式還不夠成熟。

Jeff Geerling 展示了 macOS 平臺上借助 Thunderbolt 5 RDMA 構建協同大內存 AI 計算集群的可能性。對于研究者和開發者來說，它代表一種在桌面級硬件上實現超大規模模型運行的新思路，尤其是在不依賴大量 GPU 的情況下。盡管尚有一些工程與生態限制，但這一進展對于本地 AI 開發、HPC 協同計算都有重要參考價值。