YouTube 博主 Jeff Geerling 近日發布了一篇博文和一段視頻,詳細介紹了他使用 Mac Studio 打造 AI 集群的體驗,主要展示了 Thunderbolt 5 接口在集群計算中的應用。
![]()
蘋果最新 macOS 26.2 加入了 RDMA(Remote Direct Memory Access) over Thunderbolt 5 支持,這讓多臺 Mac Studio 能夠像共享同一塊大內存一樣協同工作。
簡單來說,利用 RDMA,數臺 Mac Studio 之間可以直接在內存層面高速交換數據,延遲明顯降低(顯著優于傳統網絡傳輸方式)。
這次測試中,Jeff Geerling 將 4 臺配備統一內存的 Mac Studio 組合成一個“集群”,合計達到 約 1.5 TB 的內存池容量(每臺機器共享內存,看起來像是擁有一塊巨大的虛擬內存)。
用途與性能亮點
該內存融合技術對 運行超大 AI 模型有明顯提升,特別是模型參數巨大的推理任務上表現出更流暢的數據交換。
RDMA 讓各臺機器間的數據訪問延遲從數百微秒降到幾十微秒級別,極大改善了協同計算效率。
使用開源項目 Exo 1.0 管理集群內的任務分配與內存共享,是實現協作運行的重要工具。
實際配置與成本
這套四機集群的硬件成本接近 4 萬美元,主要由 Mac Studio 本體構成。
單機運行本身就具有非常強的性能表現:M3 Ultra Mac Studio 在多核計算和 AI 推理任務中不弱于某些專業服務器。
下面是一些性能測試對比:
![]()
![]()
![]()
雖然 RDMA over Thunderbolt 5 是一項令人振奮的進展,但當前仍有一些限制,比如需要手動啟用 RDMA,且設置過程比較繁瑣。此外受限于 Thunderbolt 連接拓撲,目前最多只能通過點對點方式交叉連接最多 4 臺機器。對比傳統企業級互連(例如 QSFP 或 InfiniBand),Thunderbolt 的物理插拔與連接方式還不夠成熟。
Jeff Geerling 展示了 macOS 平臺上借助 Thunderbolt 5 RDMA 構建協同大內存 AI 計算集群的可能性。對于研究者和開發者來說,它代表一種在桌面級硬件上實現超大規模模型運行的新思路,尤其是在不依賴大量 GPU 的情況下。盡管尚有一些工程與生態限制,但這一進展對于本地 AI 開發、HPC 協同計算都有重要參考價值。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.