華為近日正式推出了一款名為Flex:ai的AI容器軟件，該產(chǎn)品憑借其獨(dú)特的算力切分技術(shù)，在行業(yè)內(nèi)引發(fā)了廣泛關(guān)注。這項(xiàng)技術(shù)能夠?qū)螐圙PU或NPU算力卡細(xì)分為多個(gè)虛擬單元，最小切分粒度可精確至10%，從而讓單張算力卡能夠同時(shí)處理多個(gè)AI工作負(fù)載，大幅提升硬件資源的利用效率。
Flex:ai的核心優(yōu)勢(shì)不僅體現(xiàn)在單卡算力的精細(xì)化管理上，更在于其強(qiáng)大的集群算力整合能力。通過(guò)將集群內(nèi)各計(jì)算節(jié)點(diǎn)的空閑XPU算力高效聚合，該軟件構(gòu)建了一個(gè)統(tǒng)一的“共享算力池”，實(shí)現(xiàn)了算力資源的全局調(diào)度與靈活分配。這種設(shè)計(jì)使得企業(yè)能夠根據(jù)實(shí)際需求動(dòng)態(tài)調(diào)整算力分配，避免資源浪費(fèi)。
在技術(shù)實(shí)現(xiàn)層面，F(xiàn)lex:ai采用了一套深度融合軟硬件的系統(tǒng)工程方案，覆蓋從底層芯片到頂層調(diào)度的全鏈條優(yōu)化。通過(guò)創(chuàng)新性的軟件技術(shù)，該產(chǎn)品成功將GPU/NPU的典型利用率從30%-40%提升至70%，充分踐行了“以軟件補(bǔ)硬件”的理念。這一突破不僅降低了硬件成本，還顯著提升了計(jì)算效率。
硬件協(xié)同方面，F(xiàn)lex:ai與華為自研的昇騰AI處理器進(jìn)行了深度整合。通過(guò)軟硬件協(xié)同設(shè)計(jì)優(yōu)化，該軟件實(shí)現(xiàn)了最佳的性能功耗比，為AI訓(xùn)練和推理提供了更高效的解決方案。特別是在大模型訓(xùn)練場(chǎng)景中，F(xiàn)lex:ai展現(xiàn)出了強(qiáng)大的異構(gòu)算力管理能力，能夠統(tǒng)一調(diào)度英偉達(dá)GPU和昇騰NPU等多種算力資源，有效解決了當(dāng)前大模型訓(xùn)練面臨的算力效率瓶頸問(wèn)題。
為了推動(dòng)技術(shù)共享與生態(tài)發(fā)展，華為決定在發(fā)布后將Flex:ai同步開(kāi)源至魔擎社區(qū)。這一舉措將為開(kāi)發(fā)者提供更多創(chuàng)新可能，促進(jìn)AI技術(shù)的普及與應(yīng)用。通過(guò)開(kāi)源合作，F(xiàn)lex:ai有望吸引更多企業(yè)和開(kāi)發(fā)者參與其中，共同推動(dòng)AI算力管理技術(shù)的進(jìn)步。
