在AI硬件性能優(yōu)化的探索中，一項名為“分布式推理”的創(chuàng)新技術引發(fā)行業(yè)關注。EXO Labs近日宣布，其基于開源框架EXO的混合計算方案成功突破傳統硬件限制，通過將英偉達DGX Spark與蘋果Mac Studio組合，在AI大語言模型推理測試中實現2.8倍性能提升，為解決“選擇高性能AI主機”的難題提供了新思路。
該方案的核心在于EXO框架的異構計算能力。與傳統依賴單一GPU或加速器的模式不同，EXO可將推理任務自動拆分至不同硬件設備，形成類似WiFi Mesh網絡的“AI Mesh”架構。實驗中，兩臺售價3999美元的DGX Spark（側重計算性能）與一臺搭載M3 Ultra芯片、售價5599美元的Mac Studio（擅長數據帶寬）組成統一系統，通過動態(tài)分配任務實現性能互補。
具體而言，AI推理過程被劃分為兩個關鍵階段：預填充階段需處理輸入提示，主要受計算性能制約；解碼階段需逐個生成詞元，更依賴內存帶寬。EXO的調度策略將預填充任務交由DGX Spark執(zhí)行，其計算速度較Mac Studio快3.8倍；解碼任務則由Mac Studio承擔，其生成速度比DGX Spark快3.4倍。系統通過實時傳輸模型內部數據（KV緩存），使兩臺設備無需等待即可并行工作。
在meta Llama-3.1 8B模型的基準測試中，混合架構的性能優(yōu)勢顯著：相較于單獨使用Mac Studio，推理速度提升2.8倍。這一成果驗證了“計算密集型任務與帶寬敏感型任務分離執(zhí)行”的可行性，為優(yōu)化硬件資源利用提供了新范式。
值得注意的是，類似設計理念已出現在行業(yè)巨頭的技術路線中。英偉達新一代Rubin CPX平臺采用類似架構：計算密集的上下文構建由Rubin CPX處理器完成，而配備高帶寬HBM3e內存的標準Rubin芯片負責解碼。這種跨廠商的技術趨同，凸顯了分布式推理在AI算力擴展中的潛力。
盡管EXO 1.0目前仍處于早期實驗階段（開源版本0.0.15-alpha發(fā)布于2025年3月），但其演示表明，通過智能調度異構硬件資源，無需依賴大型數據中心即可顯著提升AI性能。未來版本計劃引入自動調度、KV流式傳輸等優(yōu)化功能，進一步降低混合計算的使用門檻。不過，該技術目前仍屬研究級工具，尚未面向普通消費者開放。
