商湯科技與南洋理工大學S-Lab聯合研發的多模態模型架構NEO正式發布，并同步開源2B與9B兩種參數規模的模型。這一突破性成果為多模態大模型領域帶來全新范式，其核心架構通過底層創新實現了視覺與語言模態的深度融合，在數據效率、性能表現及部署成本等關鍵指標上達到行業領先水平。
傳統多模態模型普遍采用"視覺編碼器+投影器+語言模型"的模塊化設計，這種基于大語言模型擴展的方案雖能處理圖像輸入，但本質仍以語言為中心。商湯科技指出，此類架構存在三大缺陷：數據層面淺層融合導致學習效率低下，圖像細節捕捉能力受限，復雜空間結構理解困難。例如在需要精準識別物體位置關系或動態場景的場景中，傳統模型往往表現乏力。
NEO架構通過三項底層創新實現模態融合的質變。其獨創的原生圖塊嵌入技術（Native Patch Embedding）摒棄離散圖像分詞器，通過連續映射機制從像素級構建視覺表征，使模型能捕捉到比傳統方法精細4倍的圖像細節。在位置編碼方面，原生三維旋轉位置編碼（Native-RoPE）創新性地解耦時空頻率分配，為視覺模態分配高頻信號、語言模態分配低頻信號，這種設計使模型天然具備處理視頻流和跨幀信息的能力。
注意力機制層面，原生多頭注意力（Native Multi-Head Attention）突破傳統框架，在統一架構中同時實現文本的自回歸注意力與視覺的雙向注意力。這種設計使模型在處理圖文混合任務時，空間關聯利用率提升37%，特別在需要理解物體遮擋關系或動態軌跡的場景中表現突出。配合Pre-Buffer&Post-LLM雙階段訓練策略，模型在保持語言推理能力完整性的同時，視覺感知能力實現指數級增長。
實測數據顯示，NEO架構展現出顯著優勢：在數據效率方面，僅需3.9億圖像文本樣本即可達到頂尖視覺理解水平，數據需求量僅為同類模型的1/10；性能測試中，在MMMU、MMB等五大權威基準測試中均取得最優成績；部署成本方面，0.6B-8B參數規模的模型在邊緣設備上的推理速度提升2.3倍，特別適合移動端和物聯網設備部署。商湯已開放基于NEO架構的模型下載，開發者可通過開源社區獲取完整代碼與訓練框架。
