當(dāng)前，各大科技公司的大模型競爭進(jìn)入白熱化階段，OpenAI的GPT、Anthropic的Claude、谷歌的Gemini以及中國的DeepSeek等模型不斷推陳出新。然而，隨著AI模型排行榜頻繁出現(xiàn)刷分作弊現(xiàn)象，如何客觀評估大模型性能成為業(yè)界關(guān)注的焦點(diǎn)。在此背景下，一個(gè)名為LMArena的線上評測平臺(tái)應(yīng)運(yùn)而生，通過實(shí)時(shí)對戰(zhàn)和用戶投票的方式，為大模型性能評估提供了新的思路。

在LMArena平臺(tái)上，文字、視覺、搜索、文生圖、文生視頻等多個(gè)細(xì)分領(lǐng)域的AI大模型每天進(jìn)行上千場實(shí)時(shí)對戰(zhàn)。普通用戶通過匿名投票的方式，選出自己認(rèn)為表現(xiàn)更好的模型。這種評測方式得到了許多AI研究者的認(rèn)可，他們認(rèn)為大模型競賽的下半場需要重新思考模型評估標(biāo)準(zhǔn)。當(dāng)技術(shù)創(chuàng)新趨于飽和時(shí)，準(zhǔn)確衡量和理解模型的智能邊界將成為拉開差距的關(guān)鍵。

傳統(tǒng)的大模型評估主要依賴固定的題庫，如MMLU、BIG-Bench、HellaSwag等。這些題庫涵蓋學(xué)科、語言、常識(shí)推理等多個(gè)維度，通過比較模型的答對率或得分來評估性能。然而，隨著模型能力的增強(qiáng)和訓(xùn)練數(shù)據(jù)的擴(kuò)大，傳統(tǒng)Benchmark的局限性逐漸顯現(xiàn)。題庫泄露導(dǎo)致模型可能只是“記住”答案而非真正理解問題，且靜態(tài)Benchmark無法反映模型在真實(shí)交互中的表現(xiàn)。

LMArena的競技場模式被視為應(yīng)對傳統(tǒng)Benchmark失靈的新方案。其核心機(jī)制源于伯克利實(shí)驗(yàn)室的研究，2023年5月由全球頂尖學(xué)府組成的非營利性開放研究組織LMSYS推出了Chatbot Arena（LMArena的前身）。當(dāng)時(shí)，LMSYS團(tuán)隊(duì)為了比較自己發(fā)布的開源模型Vicuna和斯坦福大學(xué)推出的Alpaca的性能，嘗試了多種評測方法，最終發(fā)現(xiàn)人類比較（Pairwise Comparison）的方式更為可靠。

在Chatbot Arena上，用戶輸入問題后，系統(tǒng)會(huì)隨機(jī)分配兩個(gè)模型生成回答，用戶通過投票選擇更好的回答。投票結(jié)束后，系統(tǒng)基于Bradley–Terry模型實(shí)現(xiàn)Elo式評分機(jī)制，形成動(dòng)態(tài)排行榜。這種機(jī)制讓評測成為一場“真實(shí)世界的動(dòng)態(tài)實(shí)驗(yàn)”，而非一次性的閉卷考試。平臺(tái)通過“人機(jī)協(xié)同評估框架”確保評測的開放性和可控性，所有數(shù)據(jù)和算法均開源，任何人都可以復(fù)現(xiàn)或分析結(jié)果。

2024年底，LMArena的功能和評測任務(wù)擴(kuò)展至代碼生成、搜索評估、多模態(tài)圖像理解等細(xì)分領(lǐng)域，并更名為LMArena。谷歌最新文生圖模型Nano Banana最早通過LMArena以神秘代號(hào)引發(fā)關(guān)注，Gemini 3.0也被發(fā)現(xiàn)在該平臺(tái)上進(jìn)行測試。如今，幾乎所有頭部模型都在LMArena上“打擂臺(tái)”，將其作為測試普通用戶反饋的“常規(guī)賽場”。

然而，隨著LMArena的火爆，其公平性也受到質(zhì)疑。用戶的語言背景、文化偏好和使用習(xí)慣可能影響投票結(jié)果，導(dǎo)致模型因“討人喜歡”而非真正智能而獲勝。研究發(fā)現(xiàn)，LMArena的結(jié)果與傳統(tǒng)Benchmark分?jǐn)?shù)之間并非強(qiáng)相關(guān)，存在“話題偏差”與“地區(qū)偏差”。一些公司為“上榜”優(yōu)化模型回答風(fēng)格，甚至提供“專供版”模型，導(dǎo)致評測公正性受到爭議。

2025年5月，LMArena背后的團(tuán)隊(duì)注冊公司“Arena Intelligence Inc.”，并完成1億美元種子輪融資。公司化后，平臺(tái)可能探索數(shù)據(jù)分析、定制化評測和企業(yè)級(jí)報(bào)告等商業(yè)服務(wù)。這引發(fā)了業(yè)界對其中立性的擔(dān)憂，當(dāng)資本介入后，LMArena是否還能保持“開放”與“中立”成為焦點(diǎn)問題。

盡管LMArena暴露出新矛盾，但傳統(tǒng)Benchmark仍在持續(xù)演化。近年來，研究者推出了難度更高的版本，如MMLU Pro、BIG-Bench-Hard，以及聚焦細(xì)分領(lǐng)域的Benchmark，如AIME 2025、SWE-Bench、AgentBench等。這些新Benchmark模擬模型在真實(shí)世界中的工作方式，從單一考試題集演化為多層次體系。

與此同時(shí)，評測進(jìn)一步走向“真實(shí)世界”。例如，Alpha Arena平臺(tái)讓六大模型在加密貨幣交易市場中進(jìn)行對戰(zhàn)，以實(shí)際收益和策略穩(wěn)定性作為評測依據(jù)。雖然這種“實(shí)戰(zhàn)式評測”更多是“噱頭”，但為大模型在動(dòng)態(tài)、對抗環(huán)境中的檢驗(yàn)提供了新思路。

未來的模型評估可能是一種融合式框架，靜態(tài)Benchmark提供可復(fù)現(xiàn)、可量化的標(biāo)準(zhǔn)，Arena提供動(dòng)態(tài)、開放、面向真實(shí)交互的驗(yàn)證。隨著大模型能力提升，原有測試集“太簡單”的問題愈發(fā)突出，Arena的自動(dòng)難度過濾提出了階段性解決方案，但真正的方向是由人類專家與強(qiáng)化學(xué)習(xí)環(huán)境共同推動(dòng)的高難度數(shù)據(jù)建設(shè)。

朱邦華認(rèn)為，大模型評估的未來是螺旋式共演。模型的突破迫使評測體系升級(jí)，新的評測又反過來定義模型的能力邊界。高質(zhì)量的數(shù)據(jù)成為連接兩者的中軸，研究者需要篩選、組合與聚合成百上千個(gè)數(shù)據(jù)集，建立兼顧統(tǒng)計(jì)有效性與人類偏好的聚合框架。這將是一場持續(xù)進(jìn)行的實(shí)驗(yàn)，最終構(gòu)建一個(gè)動(dòng)態(tài)、開放、可信的智能測量體系。