聞樂 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

“不是AGI還沒到，而是永遠(yuǎn)到不了。”

CMU（卡內(nèi)基梅隆大學(xué)）教授、艾倫人工智能實(shí)驗(yàn)室研究員Tim Dettmers從硬件瓶頸、資源成本、現(xiàn)實(shí)應(yīng)用三重維度論證：

為什么AGI從一開始，就是個違背物理規(guī)律的幻想工程？

一篇長文，指出GPU性能峰值停在2018年，機(jī)架級優(yōu)化2027年耗盡潛力，AI每提升1%的能力，資源消耗要翻好幾倍……

核心觀點(diǎn)

AGI的討論都在回避“計(jì)算的物理枷鎖”

智能不是飄在天上的想法，而是得靠電腦、芯片這些實(shí)實(shí)在在的東西算出來，而這些東西都得遵守物理規(guī)律。

計(jì)算從不是抽象概念，所有智能都要扎根物理現(xiàn)實(shí)。

這也是Dettmers反駁AGI的核心，很多人在聊到AGI時總把它當(dāng)成抽象的哲學(xué)概念，但很多人忽略了硬件實(shí)現(xiàn)，而硬件必然受到物理規(guī)律限制。

第一個是信息移動成本。

比如有效計(jì)算需要平衡全局信息傳到局部和局部信息整合，可信息移動的成本會隨距離呈平方級上升；芯片緩存也能說明問題，L2、L3緩存比L1 大，但卻因物理位置更遠(yuǎn)而速度更慢。

現(xiàn)在芯片里的晶體管越做越小，雖然能降低計(jì)算成本，但內(nèi)存反而越來越貴，現(xiàn)在芯片上幾乎所有空間都給了內(nèi)存，計(jì)算單元占比微乎其微。

就算是現(xiàn)在的主流AI架構(gòu)Transformer，看似是算法層面的突破，本質(zhì)上也是對硬件信息處理效率的物理優(yōu)化，且也已經(jīng)接近物理最優(yōu)。

第二個是線性進(jìn)步需要指數(shù)級資源。

想讓系統(tǒng)更精準(zhǔn)、高效，每多一分改進(jìn)，需要的資源都會呈指數(shù)級增長。

物理層面，資源聚集會因空間、時間限制變慢；理論層面，相關(guān)聯(lián)的想法會導(dǎo)致收益遞減，就算是創(chuàng)新，也多是對現(xiàn)有思路的微調(diào)，難有突破性效果。

物理學(xué)就是典型例子，過去個人能取得理論突破，現(xiàn)在卻很難。

實(shí)驗(yàn)物理更甚，像大型強(qiáng)子對撞機(jī)這樣耗資數(shù)十億的設(shè)備，也沒能解開暗能量、暗物質(zhì)的謎團(tuán)。

AI領(lǐng)域同理，想靠堆資源實(shí)現(xiàn)AGI的通用能，早晚會超出實(shí)際承受范圍。

GPU熄火了

而且，支撐AI快速發(fā)展的燃料GPU，也進(jìn)入了熄火階段。

可能很多人會默認(rèn)GPU會連續(xù)迭代，為AGI提供算力支撐，但Dettmers拋出一組數(shù)據(jù)：

GPU的性價(jià)比在2018年就到了峰值，之后的16位精度、張量核心、HBM內(nèi)存等改進(jìn)，都是一次性功能，潛力很快會耗盡。

現(xiàn)在行業(yè)寄希望的機(jī)架級優(yōu)化，比如更高效地調(diào)度AI需要的鍵值緩存，但這種優(yōu)化的思路很簡單，本質(zhì)上只有一種最優(yōu)設(shè)計(jì)方式。雖然實(shí)現(xiàn)起來要花時間做工程，但整體設(shè)計(jì)沒什么新意。

像OpenAI這樣的公司吹自己的基礎(chǔ)設(shè)施多厲害，但其實(shí)大家的差距很小；唯一能拉開點(diǎn)距離的，就是機(jī)架或數(shù)據(jù)中心級別的小優(yōu)化，但這些優(yōu)勢也撐不了多久，大概2026-2027年就會耗盡。

也就是說，GPU這條算力增長線，已經(jīng)快走到頭了。

有人說把模型規(guī)模做大還能提升AI性能，Dettmers并不否認(rèn)這種規(guī)模法則的作用，但問題在于——

過去GPU的指數(shù)級進(jìn)步，能抵消規(guī)模擴(kuò)張的資源消耗，花一塊錢就有一塊錢的效果；現(xiàn)在GPU不進(jìn)步了，想再獲線性提升，就得投入指數(shù)級成本，花幾塊錢才有一塊錢的效果，這在物理上很快會不可行。

結(jié)論：AGI是幻覺

AGI的通用，意味著要能處理物理世界的復(fù)雜任務(wù)。

但物理世界數(shù)據(jù)的收集成本太高。舉個最簡單的例子，工廠的機(jī)器人要應(yīng)對零件磨損、天氣變化這些突發(fā)情況，需要海量數(shù)據(jù)訓(xùn)練，還得花大價(jià)錢做實(shí)驗(yàn)。

再看超級智能，它假設(shè)AI能自己越變越聰明，但現(xiàn)實(shí)是，變聰明需要資源……

想讓AI自己優(yōu)化，剛開始調(diào)調(diào)參數(shù)或許還能進(jìn)步，但到達(dá)一定水平之后，想要多進(jìn)步1%，可嫩好多花10倍的錢和算力，那么問題來了：

AI又不能憑空造資源，怎么做到無限變強(qiáng)呢？

所以，Dettmers認(rèn)為AGI不會實(shí)現(xiàn)，超級智能也是幻想。

不過呢，在他看來，AI的未來不是超越人類，而是在物理約束內(nèi)漸進(jìn)式的改進(jìn)，靠經(jīng)濟(jì)擴(kuò)散和實(shí)際應(yīng)用創(chuàng)造價(jià)值。

比如讓算法更省算力、讓更多人能用得上開源AI模型，把AI用到看病、種地、造東西這些實(shí)處，一點(diǎn)點(diǎn)幫人提高效率。

Dettmers指出，美國那邊總想著“贏者通吃”，巨頭們砸錢搞超級智能，一門心思想做個啥都會的AGI，卻不管這東西到底現(xiàn)不現(xiàn)實(shí)，能不能用在實(shí)處。

而在這一點(diǎn)上，中國更聚焦落地實(shí)用，看的是AI能不能提升生產(chǎn)力，還用補(bǔ)貼推動AI融入各行業(yè)，這樣就更貼合現(xiàn)實(shí)。