口袋級 AI 超算！全球最小，可跑1200億大模型！

緊湊型人工智能設備正日益走向主流，而一家新興初創企業則突破技術壁壘，推出了全球最小的人工智能超級計算機，這款設備的紙面參數十分亮眼。

初創公司TiinyAIAI Pocket Lab 搭載全新ARM v9.2 架構核心，可流暢運行 1200 億參數大語言模型。

邊緣人工智能已成為計算產業的新興賽道，核心優勢在于將開源模型部署在本地設備，能夠實現更具個性化的任務處理。但這類技術方案通常需要高昂的硬件成本支撐—— 以英偉達 DGX Spark 為例，其售價高達 4000 美元，普通消費者難以負擔。

初創公司 Tiiny AI 計劃填補這一市場空白，不僅推出了高性價比解決方案，更帶來了號稱 “全球最小” 的超級計算機——Tiiny 人工智能口袋實驗室AI Pocket Lab ）

這款設備的尺寸僅為 14.2×8×2.53 厘米，重量僅 300 克，卻能部署 1200 億參數大語言模型，這一突破堪稱業界首創。官方稱，適配該設備的大語言模型可滿足 “博士級推理、多步驟分析及深度語境理解” 需求。憑借強大的端側算力，這款口袋實驗室不僅面向普通消費者，更能為需開展本地大模型部署實驗的科研人員與開發者提供理想平臺。

據 Tiiny AI 披露，該設備兼容 GPT-OSS、Llama、通義千問、Deepseek、Mistral 及 Phi 等主流大模型。其核心亮點在于，內置獨立神經網絡處理單元（NPU），算力可達 190 萬億次運算 / 秒（TOPS）；同時配備 80GB LPDDR5X 高速內存，支持激進量化技術，確保 1200 億參數模型在本地環境下流暢運行。

此外，Tiiny AI 研發了兩項關鍵技術，讓 1200 億參數模型的端側落地成為現實：

1.TurboSparse 稀疏激活技術：在神經元層面實現稀疏激活，可在完整保留模型智能的前提下，大幅提升推理效率。

2.PowerInfer 異構推理引擎：這款開源引擎在 GitHub 上已收獲超 8000 星標，能夠動態分配 CPU 與 NPU 的算力負載，加速大語言模型的高負載運算，以遠低于傳統方案的功耗，實現媲美服務器級別的性能表現。

依托這兩項技術，Tiiny 人工智能口袋實驗室得以實現原本需要數千美元專業圖形處理器（GPU）才能具備的算力水平。

據悉，該設備將于2026 年國際消費電子展（CES）正式亮相。盡管目前 Tiiny AI 尚未公布具體發售日期與上市信息，但這款口袋超級計算機的市場前景已備受矚目，其行業首秀的表現值得期待。

AMD 技術峰會邀請報名：FPGA/SoC+x86嵌入式

報名通道即將關閉