全球最小AI超級計算機可放進口袋，無需服務器或GPU即可運行

這款口袋大小的手持設備能夠運行1200億參數(shù)的大型語言模型（LLM）。美國深度科技初創(chuàng)公司Tiiny AI近日發(fā)布了Tiiny AI Pocket Lab（袖珍AI實驗室），該設備已獲得吉尼斯世界紀錄官方認證，成為全球最小的個人AI超級計算機。

這款超級計算機外形酷似移動電源，采用口袋尺寸設計，能夠本地運行1200億參數(shù)的LLM，無需依賴云端連接、服務器或高端GPU。Tiiny AI希望通過該設備降低超級計算機對云端和GPU的依賴，同時讓普通用戶也能獲得數(shù)據(jù)中心級別的算力。這款于12月10日發(fā)布的AI Pocket Lab，還為應對可持續(xù)發(fā)展問題、不斷上漲的能源成本以及基于云的AI基礎設施帶來的隱私風險提供了可行的替代方案。

公司市場拓展總監(jiān)薩馬爾·博杰在官方新聞稿中表示："云端AI帶來了顯著進步，但也造成了依賴性、脆弱性和可持續(xù)發(fā)展挑戰(zhàn)。我們相信智能不應屬于數(shù)據(jù)中心，而應屬于每個人。Tiiny AI Pocket Lab正是將大模型能力從云端遷移到每個個人設備的第一步，讓先進AI真正實現(xiàn)可及性、私密性與個性化。"

多樣化的應用場景

AI Pocket Lab旨在滿足所有可能的個人AI使用場景，服務各類專業(yè)人士，包括創(chuàng)作者、開發(fā)者、研究人員和學生。用戶無需聯(lián)網(wǎng)即可實現(xiàn)多步驟推理、深度上下文理解、智能體工作流、內(nèi)容生成以及敏感信息的安全處理。

該設備采用銀行級加密技術將用戶數(shù)據(jù)、偏好和文檔存儲在本地，相比基于云的AI系統(tǒng)具備長期記憶功能和更強的隱私保護能力。Tiiny AI Pocket Lab專為最實用的個人AI場景設計，可運行100億至1000億參數(shù)的模型，覆蓋超過80%的實際任務需求。

它甚至可擴展至1200億參數(shù)模型，為復雜推理和多步驟分析提供GPT-4級別的智能水平——所有這些功能都保持數(shù)據(jù)完全離線，安全存儲于設備之中。

強大的技術規(guī)格

這款超級計算設備配備ARMv9.2架構的12核CPU，提供65W功率容量。與傳統(tǒng)依賴GPU的系統(tǒng)相比，它通常僅需極小部分的能耗和碳足跡即可實現(xiàn)大模型性能。

Tiiny AI Pocket Lab依賴兩項關鍵技術實現(xiàn)大型AI模型在小型設備上運行：其一是TurboSparse技術，通過僅激活所需神經(jīng)元來提升效率，同時保持模型智能完整性；其二是Powerinfer開源引擎（在GitHub上獲得超8000星標），可將AI工作負載分配到CPU和NPU上，在顯著降低功耗的同時提升性能。

這些技術進步共同使Pocket Lab能夠在緊湊的低功耗形態(tài)下提供GPU級別的AI性能。

開源生態(tài)系統(tǒng)

Tiiny AI還提供即用型開源生態(tài)系統(tǒng)。Pocket Lab支持一鍵安裝Llama、Qwen、DeepSeek、Mistral、Phi和GPT-OSS等熱門開源模型，并可輕松配置OpenManus、ComfyUI、Flowise和SillyTavern等AI智能體。

用戶還將獲得定期更新，包括官方的無線硬件升級服務。這些功能預計將于2026年1月在CES消費電子展上正式亮相。

如果朋友們喜歡，敬請關注“知新了了”！