12 月 11 日消息,科技媒體 Wccftech 昨日(12 月 10 日)發布博文,報道稱初創公司 Tiiny AI 發布號稱全球最小的 AI 超級計算機 Tiiny AI Pocket Lab,僅重 300 克,尺寸如手掌大小,卻搭載了 ARMv9.2 12 核 CPU 和 80GB LPDDR5X 內存,算力達 190 TOPS。
援引博文介紹,該計算機尺寸僅為 14.2 × 8 × 2.53 厘米,重量約為 300 克,用戶可輕松將其置于掌中。盡管體積小巧,Tiiny AI 聲稱該設備能成功部署 1200 億(120B)參數的模型,這在同類設備中尚屬首創。
該設備支持的大語言模型(LLM)據稱能完美處理“博士級推理、多步驟分析和深度上下文理解”任務,搭載了最新的 ARMv9.2 12 核 CPU,并通過定制的異構模塊(SoC + 獨立 NPU)提供約 190 TOPS 的 AI 算力。
為了支撐龐大的模型運行,該設備配備了高達 80GB 的 LPDDR5X 內存和 1TB SSD 存儲空間。這種大容量內存配置讓用戶可以啟用激進的量化技術,從而在本地環境中流暢運行 120B 模型。該設備功耗控制出色,TDP 為 30W,典型系統功耗約為 65W。
Tiiny 為了在如此緊湊的設備上實用化 120B 模型,采用了兩項核心技術。首先是 TurboSparse,這是一種神經元級別的稀疏激活技術,能在保持模型完整智能的同時顯著提高推理效率。
其次是 PowerInfer,這是一個擁有超過 8000 顆 GitHub 星標的開源異構推理引擎,它能通過動態分配 CPU 和 NPU 之間的計算任務來加速繁重的 LLM 工作負載。
在軟件生態方面,AI Pocket Lab 支持一鍵部署 GPT-OSS、Llama、Qwen、DeepSeek、Mistral 和 Phi 等數十種主流開源模型及代理框架,無需依賴互聯網或云端,支持完全離線操作。Tiiny AI 確認將在 CES 2026 上正式展示該設備。









