MIT 的研究團隊近日發布了一項創新的計算方法，旨在提高大型語言模型（LLM）的運算效率，同時降低能源消耗。這項名為實例自適應縮放的技術，可以根據提問的復雜程度調整計算資源。研究小組的相關論文于11月初發布，得到了 MIT-IBM 沃森人工智能實驗室、MIT-Amazon 科學中心、MIT-Google 計算創新項目以及 MathWorks 的支持。

圖源備注：圖片由AI生成，圖片授權服務商Midjourney

傳統的大型語言模型在處理問題時，往往會使用固定的推理過程獎勵模型（PRMs），這使得它們在面對不同復雜度的問題時，計算資源利用率不高，且常常高估成功的概率。MIT 的研究人員通過重新設計 PRMs，使其能夠根據不同的問題動態調整推理軌跡的數量。這樣，簡單的問題可以使用較少的計算資源，而復雜的問題則可以獲得更多的推理支持。

研究人員指出，人的思維過程往往是通過分解復雜問題、逐步推理和不斷修正來進行的，而 LLM 也同樣能從這一過程中獲益，能夠在推理時獲得更多的 “思考” 時間。研究顯示，采用這種新方法后，計算資源的使用量減少了一半，同時依然能夠提供與現有模型相媲美的準確回答。經過重新校準的 PRMs 也為較小的 LLM 提升了性能。

鑒于這一技術的成功，MIT 團隊表示他們將進一步探索該方法在其他應用中的表現，如代碼生成和人工智能代理，并計劃探索 PRM 校準方法在強化學習等領域的更多應用。

劃重點: