東京大學研究團隊近期在人工智能領域取得突破性進展，針對日語多模態理解任務開發出全新評估基準JMMMU-Pro，并創新性地提出Vibe基準構建法。這項研究揭示了當前開源AI模型在處理圖文混合內容時存在的顯著短板，為多語言AI發展提供了重要參考。

傳統評估體系將圖像與文字分開處理，這種模式與現實場景存在明顯脫節。研究團隊發現，當用戶用手機拍攝包含日語文字和圖表的考試卷、產品說明書或網頁截圖時，現有開源模型在理解這類復合信息時表現堪憂。為解決這個問題，研究團隊將原有JMMMU基準中的1320個問題重新設計，將文字與圖像融合成完整視覺單元，形成更貼近真實應用的測試環境。

創新性的Vibe基準構建法采用人機協作模式，利用Nano Banana Pro圖像生成模型自動創建測試樣本。通過預設背景類型、字體樣式、圖像比例等九類參數，系統可生成模擬手機拍攝、電腦截圖、黑板板書等多樣化場景。人工質檢團隊對生成樣本進行三輪篩選，確保文字清晰度與內容準確性，最終實現95%樣本的自動化生成。

實驗結果引發行業震動：14個參與測試的開源模型中，表現最優的Qwen3-VL-8B準確率僅47.27%，九個模型得分低于32%。與之形成鮮明對比的是，GPT-5.2和Gemini3Pro分別取得83.33%和87.04%的高分。這種差距在需要文化理解的題目中尤為突出，例如涉及日本傳統藝術或歷史典故的問題，開源模型錯誤率較閉源模型高出41%。

深入分析顯示，開源模型存在雙重缺陷：基礎層面的光學字符識別（OCR）能力不足，導致37%的錯誤源于文字識別錯誤；高階層面的視覺文本整合能力欠缺，即使準確識別文字也難以建立圖文邏輯關聯。研究特別指出，英語中心模型在日語文本識別時表現混亂，多語言模型在復雜布局處理上力不從心，日語專項模型則缺乏跨學科知識遷移能力。

該研究對產業應用具有重要啟示。當前開源模型在處理用戶實際需求時存在明顯斷層，例如解讀藥品說明書、分析圖表數據等場景。商業閉源模型的優勢不僅體現在技術層面，更反映出其在數據質量、訓練策略和資源投入上的系統性領先。研究團隊建議開發者應重點關注OCR精度提升、跨模態對齊算法優化，以及文化特異性知識注入等關鍵領域。

技術方法論層面，Vibe基準構建法開創了數據集生產新范式。通過參數化控制生成過程，該方法可快速擴展至其他語言體系。研究團隊已驗證其在阿拉伯語、泰語等文字系統中的適配性，僅需調整字體庫和布局參數即可生成符合目標語言習慣的測試樣本。這種靈活性為構建全球多語言評估體系奠定基礎。

學術價值方面，該研究重新定義了多模態評估維度。除最終答案準確性外，研究團隊提出推理路徑分析、錯誤類型分類等評估指標，為模型優化提供更精細的指導。實驗發現，鏈式思維提示在復雜任務中可使模型性能提升19%，這為改進模型推理機制指明方向。

當前研究仍存在局限性。約5%的特殊樣本（如化學公式、樂譜）仍需人工制作，選擇題形式限制了模型解釋能力的評估，跨文化適應性測試尚未全面展開。研究團隊建議后續工作應聚焦于生成模型精度提升、評估維度擴展，以及多語言基準的標準化建設。