新一代算力芯片領(lǐng)域迎來里程碑式進展——上海交通大學(xué)集成電路學(xué)院研究團隊成功開發(fā)出國際首款支持大規(guī)模語義媒體生成的全光計算芯片。該成果以"All-optical synthesis chip for large-scale intelligent semantic vision generation"為題,登上國際頂級學(xué)術(shù)期刊《科學(xué)》封面,標(biāo)志著光計算技術(shù)正式邁入大規(guī)模生成式人工智能應(yīng)用階段。
面對深度神經(jīng)網(wǎng)絡(luò)規(guī)模指數(shù)級增長帶來的算力危機,傳統(tǒng)電子芯片架構(gòu)已難以滿足AI模型訓(xùn)練需求。研究團隊創(chuàng)新提出全光大規(guī)模語義生成芯片LightGen架構(gòu),通過百萬級光學(xué)神經(jīng)元集成技術(shù)、全光維度轉(zhuǎn)換機制及無真值訓(xùn)練算法三大突破,首次在單一芯片上實現(xiàn)了從圖像輸入到語義理解、再到全新媒體生成的完整端到端處理流程。這一成果突破了傳統(tǒng)光計算芯片僅能處理簡單分類任務(wù)的局限,使光子具備直接"理解"復(fù)雜語義的能力。
實驗數(shù)據(jù)顯示,LightGen在512×512分辨率圖像生成、3D場景重建(NeRF)、高清視頻生成等12類生成任務(wù)中,生成質(zhì)量與Stable Diffusion等主流電子神經(jīng)網(wǎng)絡(luò)相當(dāng),但能耗顯著降低。在采用商用輸入設(shè)備條件下,該芯片較頂尖數(shù)字芯片實現(xiàn)2個數(shù)量級的算力提升和2個數(shù)量級的能效優(yōu)化;若配備前沿光子輸入系統(tǒng),理論算力可躍升7個數(shù)量級,能效提升達8個數(shù)量級。這種性能飛躍源于光子傳輸?shù)奶烊徊⑿行詢?yōu)勢——光速傳播特性使芯片內(nèi)部數(shù)據(jù)交互延遲趨近于零,同時避免了電子芯片中的電阻熱損耗。
研究團隊特別設(shè)計了嚴(yán)苛的測試標(biāo)準(zhǔn),通過直接測量整個系統(tǒng)的端到端能耗,排除了外圍電路對性能評估的干擾。在語義調(diào)控實驗中,LightGen成功實現(xiàn)了對生成圖像的局部特征修改與全局風(fēng)格遷移,其生成的采樣圖像經(jīng)專家評估,在細(xì)節(jié)豐富度、語義一致性等指標(biāo)上達到行業(yè)領(lǐng)先水平。這種能力使芯片可直接應(yīng)用于自動駕駛場景實時建模、醫(yī)療影像動態(tài)生成等對時延敏感的領(lǐng)域。
該成果的突破性不僅體現(xiàn)在技術(shù)指標(biāo)上,更在于構(gòu)建了光計算與數(shù)字系統(tǒng)無縫銜接的橋梁。研究團隊此前開發(fā)的ACCEL全模擬光電芯片已驗證光計算在復(fù)雜智能任務(wù)中的系統(tǒng)級優(yōu)勢,而本次LightGen架構(gòu)進一步將應(yīng)用范圍擴展至生成式神經(jīng)網(wǎng)絡(luò)。目前,團隊正與產(chǎn)業(yè)界合作推進芯片的工業(yè)化落地,重點攻關(guān)光子輸入模塊的工程化難題,預(yù)計三年內(nèi)可實現(xiàn)特定場景的商業(yè)化部署。
學(xué)術(shù)界對該成果給予高度評價。《科學(xué)》期刊審稿人指出,這項研究解決了大規(guī)模光計算芯片集成度、維度變換、訓(xùn)練算法三大核心難題,其提出的無真值訓(xùn)練方法為光計算領(lǐng)域開辟了新范式。隨著生成式AI加速滲透各行各業(yè),這種兼具超高算力與能效的新型芯片架構(gòu),有望成為破解"算力焦慮"的關(guān)鍵技術(shù)路徑。











