在人工智能領(lǐng)域，大語(yǔ)言模型的計(jì)算效率一直是制約其廣泛應(yīng)用的關(guān)鍵瓶頸。近日，一項(xiàng)由多所科研機(jī)構(gòu)聯(lián)合完成的研究成果引發(fā)行業(yè)關(guān)注，該研究提出了一種名為SQ-format的創(chuàng)新數(shù)據(jù)格式，通過智能分級(jí)處理技術(shù)，在保持模型準(zhǔn)確性的同時(shí)，將大語(yǔ)言模型的運(yùn)行速度提升至接近原有水平的兩倍。這項(xiàng)突破性成果為解決AI計(jì)算資源消耗過大的難題提供了全新思路。

傳統(tǒng)數(shù)據(jù)處理方式采用統(tǒng)一精度標(biāo)準(zhǔn)，如同用相同規(guī)格的容器盛裝不同體積的物品，導(dǎo)致計(jì)算資源浪費(fèi)嚴(yán)重。研究團(tuán)隊(duì)發(fā)現(xiàn)，在大語(yǔ)言模型中，僅有極少數(shù)數(shù)值對(duì)最終結(jié)果起決定性作用，這些關(guān)鍵數(shù)值猶如交響樂團(tuán)中的首席演奏家，雖數(shù)量稀少卻主導(dǎo)著整體表現(xiàn)。基于這一洞察，SQ-format創(chuàng)造性地引入"分級(jí)包裝"理念，將數(shù)據(jù)分為高精度稀疏部分和低精度密集部分，就像為珍貴食材配備專業(yè)廚師，對(duì)普通食材采用標(biāo)準(zhǔn)化處理。

為實(shí)現(xiàn)這種智能分級(jí)，研究團(tuán)隊(duì)開發(fā)了雙重識(shí)別策略。針對(duì)模型權(quán)重?cái)?shù)據(jù)，他們?nèi)诤螱PTQ和SmoothQuant兩種優(yōu)化技術(shù)，通過計(jì)算權(quán)重重要性得分來識(shí)別關(guān)鍵節(jié)點(diǎn)。這類似于企業(yè)重組時(shí)，既考慮員工個(gè)人能力，又評(píng)估其對(duì)整體業(yè)績(jī)的貢獻(xiàn)度。對(duì)于動(dòng)態(tài)變化的激活數(shù)據(jù)，研究團(tuán)隊(duì)設(shè)計(jì)了靜態(tài)預(yù)測(cè)機(jī)制，通過分析歷史數(shù)據(jù)模式提前確定處理優(yōu)先級(jí)，避免實(shí)時(shí)計(jì)算帶來的性能損耗。

硬件層面的創(chuàng)新同樣令人矚目。研究團(tuán)隊(duì)重新設(shè)計(jì)了計(jì)算架構(gòu)，構(gòu)建了雙通道并行處理系統(tǒng)：高精度通道專門處理關(guān)鍵稀疏數(shù)據(jù)，低精度通道負(fù)責(zé)常規(guī)密集數(shù)據(jù)。這種設(shè)計(jì)類似于機(jī)場(chǎng)安檢系統(tǒng)，VIP通道與普通通道并行運(yùn)作，既保障安全性又提升整體效率。硬件仿真實(shí)驗(yàn)顯示，采用12納米工藝制造的定制芯片，在增加專用處理單元后，整體硅面積仍比傳統(tǒng)設(shè)計(jì)減少35.8%。

實(shí)驗(yàn)數(shù)據(jù)充分驗(yàn)證了這項(xiàng)技術(shù)的有效性。在涵蓋80億至700億參數(shù)的多個(gè)主流模型測(cè)試中，SQ-format在非生成任務(wù)上保持了與傳統(tǒng)方法幾乎相同的準(zhǔn)確率，在數(shù)學(xué)推理等生成任務(wù)中甚至表現(xiàn)出更優(yōu)性能。特別值得注意的是，在700億參數(shù)的大型模型上，端到端處理速度最高提升達(dá)1.71倍，有效內(nèi)存帶寬也獲得顯著提升。這種規(guī)模效應(yīng)表明，模型參數(shù)越多，SQ-format的效率優(yōu)勢(shì)越明顯。

研究團(tuán)隊(duì)深入探討了技術(shù)參數(shù)的優(yōu)化配置。他們發(fā)現(xiàn)，權(quán)重?cái)?shù)據(jù)的處理需要隨著稀疏度增加而擴(kuò)大"銀行"容量，而激活數(shù)據(jù)則更適合小型處理單元。在精度配置方面，8位/4位的組合展現(xiàn)出最佳平衡點(diǎn)，當(dāng)?shù)途任粚捊抵?位時(shí)，信息損失將難以通過高精度元素補(bǔ)償。這些發(fā)現(xiàn)為未來AI加速器設(shè)計(jì)提供了重要參考。

針對(duì)實(shí)際部署挑戰(zhàn)，研究團(tuán)隊(duì)開發(fā)的靜態(tài)策略展現(xiàn)出獨(dú)特優(yōu)勢(shì)。通過預(yù)先分析校準(zhǔn)數(shù)據(jù)集確定處理優(yōu)先級(jí)，該策略在保持性能的同時(shí)，完全消除了實(shí)時(shí)決策帶來的計(jì)算開銷。在700億參數(shù)模型的測(cè)試中，整個(gè)靜態(tài)掩碼系統(tǒng)僅占用5.94MB存儲(chǔ)空間，相對(duì)于模型總體規(guī)模幾乎可以忽略不計(jì)，卻帶來了顯著的性能提升。

這項(xiàng)研究不僅提出了具體的技術(shù)方案，更確立了軟硬件協(xié)同設(shè)計(jì)的全新范式。研究團(tuán)隊(duì)總結(jié)出的設(shè)計(jì)準(zhǔn)則，包括銀行化架構(gòu)、多精度并行處理、動(dòng)態(tài)掩碼單元等理念，為下一代AI計(jì)算基礎(chǔ)設(shè)施的發(fā)展指明了方向。特別是在浮點(diǎn)數(shù)據(jù)處理測(cè)試中，新型量化組合在保持性能的同時(shí)實(shí)現(xiàn)了等效5位壓縮，證明了技術(shù)的普適性。

目前，研究團(tuán)隊(duì)已開發(fā)出可在現(xiàn)有GPU上運(yùn)行的軟件版本，雖然性能表現(xiàn)略遜于專用硬件，但仍展現(xiàn)出顯著優(yōu)勢(shì)。隨著相關(guān)技術(shù)的成熟和硬件生態(tài)的完善，這項(xiàng)創(chuàng)新有望在未來幾年內(nèi)逐步應(yīng)用于實(shí)際產(chǎn)品，為AI技術(shù)的普及和成本降低奠定基礎(chǔ)。當(dāng)計(jì)算效率不再成為瓶頸，大語(yǔ)言模型將在更多領(lǐng)域展現(xiàn)其變革潛力。