新智元報道
編輯:KingHZ 桃子
OpenAI,亟需一場翻身仗!今天,全網最大的爆料:GPT-5基石實為GPT-4o。自4o發布之后,內部預訓練屢屢受挫,幾乎淪為「棄子」。
OpenAI核心預訓練,接連翻車?
傳言稱,GPT-5的基石仍是GPT-4o,且GPT-4.5之后的預訓練版本,都被OpenAI放棄了!
這么說并非空穴來風,核心爆料恰恰來自權威SemiAnalysis的最新一文——
OpenAI頂尖團隊自GPT-4o發布之后,迄今尚未完成一次完整的,為下一代前沿模型設計的大規模預訓練。
文章中,高級分析師強調:谷歌正手持TPUv7這把利劍,向英偉達王座發起沖鋒,或將終結CUDA護城河。
眾所周知,OpenAI全棧模型是在純英偉達GPU上煉出的。
然而,圈內人的焦點,大都放在了大模型「推理」和「后訓練」的硬件之上。
殊不知,沒有前沿模型的預訓練,一切皆是「無米之炊」。恰恰這一環節,成為了AI硬件里最難、最耗資源的一關。
如今,一個不為人知的內幕爆出了:
事實證明,谷歌TPU徹底經受住了這一考驗;
相較之下,自2024年5月GPT-4o誕生之后,OpenAI的預訓練卻毫無進展.....
過去,兩年半的時間,OpenAI沒有真正Scaling預訓練的規模。
GPT的預訓練,或許在GPT-4o之后觸及了天花板,由此也解釋了GPT-5性能未達業界預期的關鍵原因。
有網友表示,那不正是Ilya離開的時候嗎.....
恰在昨天,Ilya最新發文稱,Scaling不會停,但某個重要的東西仍然會缺失。
OpenAI預訓練,大潰敗
還記得去年底,那場鋪天蓋地的「Orion」傳聞嗎?
這一秘密項目,原定以GPT-5面世,但因訓練未達預期,最終被降級為GPT-4.5發布。
在前沿模型預訓練上,OpenAI的研發似乎陷入了僵局——
如今第五代旗艦模型GPT-5,包括最新GPT-5.1,其「技術根基」本質或仍未突破GPT-4o的范疇。
SemiAnalysis去年底一篇文章,曾對外公開了Orion訓練的困境。
當前,算法的進步使得模型每年所需的物理計算量減少約三分之一,因此,訓練運行時間很少超過3個月。
甚至,行業中大多數預訓練通常僅需要1-2個月。
然而,OpenAI的Orion大規模預訓練,卻打破了這一常規,其訓練時間超過了3個月。
另據Information同一時間爆出,Orion不會像前代實現巨大的飛躍,相較于從GPT-3到GPT-4的迭代,改進幅度要小得多。
不僅如此,Orion性能提升也基本局限在——語言能力上,其代碼能力甚至不如舊模型,且成本更高。
如今再回看2月,GPT-4.5的誕生,基于代號Orion的模型,OpenAI追求的是:
更強的語言能力+更穩的對話體驗+更大知識庫
情商,成為了GPT-4.5的關鍵詞。代碼雖有提升,但并非主菜。
這一切的一切,從側面印證了,此前外媒關于「Orion遇挫」爆料的準確性——
LLM有提升,但不大。
GPT-4o,成Scaling主線?
今年8月,GPT-5的那場發布,奧特曼將其定調為「博士級AI,是通往AGI又一里程碑」。
實則,業界對于GPT-5的反響,唏噓一片。
大家原本以為,GPT-5會是全面超越前代的一次飛躍,但實際發布后,更像是GPT-4.5的進一步優化版,不是「顛覆版」。
但至于GPT-5真正基于哪一款GPT打造,還有待證實。
正如之前傳聞的猜測,有可能是GPT-4o,還有Reddit網友稱是GPT-4.1....
但不論是哪一款,都證明了GPT-5,沒有在全新前沿模型的大規模預訓練上淬煉。
搞笑的,那個曾將OpenAI三顆












