在人工智能技術發展的進程中，云端大模型算力不斷攀升，而邊緣AI正逐漸成為行業矚目的焦點。邊緣AI憑借其實時響應、安全隱私保護以及成本等方面的顯著優勢，被視為AI技術的未來發展方向。然而，當前多數端側AI仍對云端存在依賴，在復雜場景下出現響應延遲、高算力需求受供電和體積限制等問題，特別是在海量物聯網場景中，這些痛點極大地阻礙了邊緣AI的規模化發展。
近日，在芯片設計服務及IP領域深耕多年的芯原與谷歌攜手，共同推出了面向端側大語言模型應用的Coral NPU IP。這一成果為邊緣AI的發展帶來了新的契機。該設計專為始終在線、超低能耗的邊緣AI應用打造，尤其適用于可穿戴設備。通過此次合作，谷歌的開源研究成果實現了從算法到芯片驗證的商業化閉環，有力推動了端側AI應用的快速落地，有望讓更多便攜設備實現智能化升級。
對于芯片設計商來說，為低功耗邊緣設備賦予AI能力，通常有兩種方式：一是借助CPU，二是使用專用加速器。CPU雖然靈活且軟件適配性高，但缺乏針對AI負載的專用架構，難以同時兼顧性能與能效；專用加速器ML效率高，卻存在靈活性不足、編程困難的問題。而且，二者軟件生態高度碎片化，開發者不得不使用專有編譯器，增加了學習成本。
目前，傳統芯片設計多采用CPU + AI加速器的組合架構，但這種架構在處理實時在線持續性AI任務時效率低下，難以滿足超低能耗和成本敏感的邊緣AI場景需求。Coral NPU則為行業提供了全新思路，其秉持“AI為先”的設計理念，從底層架構到開發環境都進行了創新。它基于開放的RISC - V指令集架構，將負責運行ML運算的“矩陣執行單元”置于架構核心位置，同時配備輕量級RISC - V RV32IM前端作為簡單控制核心，以及遵循RVV 1.0標準的向量執行單元提供額外計算能力。三種運算在同一ISA內緊密耦合，使整個架構底層實現了面向AI負載的優化。
這種架構設計帶來了顯著優勢，實現了功耗與性能的高效平衡。其性能可達每秒執行約5120億次操作（512GOPS），而功耗卻控制在毫瓦級別。這對于需要7×24小時運行AI功能且電池容量有限的小型AI設備來說，無疑是一次重大突破。Coral NPU支持主流機器學習框架，如JAX、PyTorch和TensorFlow Lite（TFLite），并采用基于開放標準的工具，如來自低級虛擬機（LLVM）項目的多級中間表示（MLIR）作為編譯器基礎設施，大幅簡化了AI開發從云到端的流程。
Coral NPU在RISC - V基礎上擴展了AI能力，既能進行傳統CPU計算，又能實現AI矩陣計算，避免了傳統獨立CPU/NPU設計帶來的系統復雜性、成本及數據遷移問題，解決了邊緣AI設備生態碎片化的難題，同時提升了機器學習性能，降低了芯片廠商的研發設計門檻。
Coral NPU專為超輕量、超低能耗、始終在線的邊緣AI打造，特別適合可穿戴設備等對設計輕巧、美觀有要求，且需要持續續航提供全天候AI體驗的產品。今年以來，在海內外龍頭企業的推動下，智能眼鏡在消費電子市場嶄露頭角，但普遍存在依賴云端AI能力、交互延遲和價格高昂等問題。行業認為，智能眼鏡進一步發展取決于重量30克以內、續航8小時以上以及價格2000元以下這三個關鍵指標。Coral NPU IP的推出，憑借其面向AI優化的架構以及在推動邊緣設備小型化、低功耗和降低成本方面的優勢，有望助力智能眼鏡提升體驗并實現規模化落地。
例如，針對特定使用場景，通過對AI功能進行裁剪，在端側運行經過訓練的高效輕量級模型，可顯著提升AI能力和智能化水平，加速產品技術創新，增強相關產品的差異化競爭力。今年8月，谷歌推出了史上最小Gemma 3開源輕量級模型，僅有2.7億個參數。在其演示中，用Gemma 3驅動的睡前故事生成器網頁應用，只需勾選幾個選項就能生成精彩故事。一些玩具廠商已開始在產品中部署輕量級模型，實現智能化升級，為兒童教育陪伴和成人情緒價值提供支持，這將對玩具和陪伴類產品及市場產生顛覆性影響。芯原內部也正在面向AI玩具、眼鏡等海量應用市場微調小模型，并與相關領先機構合作，以便在推出定制化芯片平臺時，更好地平衡算力部署的性能、功耗和成本。
若將Coral NPU和Gemma 3應用于智能眼鏡，結合特定數據集進行針對性訓練，并針對垂直場景進一步細分，使其具備端側實時翻譯、拍照、音頻處理等功能，就能覆蓋大多數使用場景。這不僅有助于芯片和終端廠商把握市場機遇，推出差異化產品搶占市場，還能加速智能眼鏡等邊緣AI設備的創新和規模落地，讓端側AI的智能和服務更快惠及用戶。
芯原和谷歌在技術與生態打造方面的合作已有十余年歷史。此次合作源于谷歌2023年發起的“Open Se Cura”開源研究計劃。該計劃是谷歌研究團隊聯合多個合作伙伴開發的開源框架，基于RISC - V架構，包含開源設計工具和IP庫，旨在加速開發適用于小型設備的低功耗AI系統。Coral NPU IP的推出，基于雙方在該項目上的經驗，標志著谷歌開源技術與芯原在芯片設計和產業化支持上的深度攜手。
目前，Coral NPU IP已在谷歌開發者網站開源，面向全球開發者開放。芯原將提供商業化的企業級IP版本，并結合自身豐富的IP儲備以及芯片設計與驗證能力，為客戶面向可穿戴、智能家居等領域的芯片提供一站式定制等服務。在NPU IP領域，芯原積累深厚，其神經網絡處理器（NPU）IP已被91家客戶用于140余款人工智能芯片中，集成了芯原NPU IP的AI類芯片全球出貨近2億顆。今年上半年，芯原超低能耗NPU已可為移動端大語言模型推理提供超40 TOPS算力，并在知名企業的手機和平板電腦中量產出貨。最新一代NPU架構針對Transformer類模型進行了優化，既能高效運行Qwen、LLAMA類大語言模型，也能支撐Stable Diffusion、MiniCPM等AIGC和多模態模型。芯原NPU還與自有的眾多處理器IP深度集成，形成包括AI - ISP、AI - Display、AI - VPU、AI - GPU、AI - DSP在內的眾多AI加速子系統解決方案。此次Coral NPU IP的推出，將成為芯原NPU IP產品矩陣以及端側AI芯片設計平臺的重要組成部分，可為客戶定制更多超低功耗場景的端側AI芯片設計方案，加速推動大語言模型在邊緣端的部署。
