這個技術試圖解決模型的可解釋性問題，簡單來說就是回答“模型為什么做出這個決策？”以及“它是如何得出這個結果的？”這兩個問題。在AI飛速發展的今天，大語言模型（LLM）雖然表現出了驚人的能力，但其內部運作機制始終像一個神秘的“黑箱”。我們不知道它為何做出某個回答，也不清楚它是如何從海量數據中提取知識的。這種不可解釋性，成為了AI在醫療、金融、法律等高風險領域落地的重大障礙。對此，OpenAI研究團隊訓練出了一個權重稀疏的Transformer模型，強制模型權重矩陣中99.9%權重為零，僅保留0.1%非零權重。在這項研究中，研究團隊在模型內部形成了緊湊且可讀的“電路”（Circuits），每個電路都僅保留了保證模型性能的關鍵節點，神經元的激活變得具有明確的語義。有外網網友稱這一技術讓當下的MoE（混合專家模型）走到了盡頭，并說“我們一直以來都將權重隔離到‘專家’中，以此粗略地近似稀疏性，僅僅是為了滿足稠密矩陣核的要求。”
▲外網評價（圖源：X）
更有網友將這項研究形容為將模型“減肥到只剩骨架”，還說這項研究就好像打開了黑匣子，不試圖解開稠密模型而是直接構建稀疏模型，正是這項研究有趣的地方。
▲外網評價（圖源：X）
但有些網友卻不這么認為，稱其沒有看出MoE模型為何會因此走到盡頭，并進一步解釋說這一技術是針對XAI（可解釋AI）的，它的訓練成本要高100-1000倍，回到“研究時代”并不意味著讓事情變得更復雜。
▲外網評價（圖源：X）
該模型目前受限于計算效率瓶頸，其運算速度較密集模型慢100至1000倍，將該技術直接應用于千億參數級別的前沿大模型，現階段尚不具備可行性。
開源地址：Github：https://github.com/openai/circuit_sparsityHugging Face：https://huggingface.co/openai/circuit-sparsity01.訓練稀疏TransformerOpenAI理清模型內部計算
要理解這項研究的突破，首先需要明白傳統大模型為何難以解釋。在標準的密集模型（Dense Models）中，神經網絡存在一種被稱為“超級位置”（Superposition）的現象。簡單來說，為了存儲海量的信息，模型被迫讓單個神經元或權重矩陣同時編碼多個完全不同的概念。這種特征糾纏導致了嚴重的后果，例如模型的決策不可追溯和邏輯混亂，當模型輸出一個結果時，我們無法確定是哪個具體的“概念”在起作用。針對以上問題，以前的研究通常從試圖拆解密集、糾結的網絡開始。但OpenAI團隊采取了一種“反直覺”的策略，即訓練權重稀疏的Transformer模型，強制模型權重矩陣中99.9%權重為零，僅保留0.1%非零權重。強制模型限制了模型只能使用其神經元之間極少的可能連接，而這一簡單的更改，幾乎從根本上理清了模型的內部計算。
▲每個神經元只與下一個層的幾個神經元相連（圖源：OpenAI技術博客）
具體的技術手段包括：1、動態剪枝與稀疏約束：在訓練過程中，系統會動態執行“剪枝”操作，每一步優化后僅保留絕對值最大的權重（Top-K稀疏化）。2、激活稀疏化：在殘差流、注意力鍵/值矩陣等關鍵位置，研究團隊引入了AbsTopK激活函數，強制僅保留前25%的激活值。3、架構微調：為了配合稀疏化，研究團隊用RMSNorm替代了傳統的LayerNorm，避免歸一化操作破壞稀疏性，同時引入了“Bigram表”來處理簡單的模式匹配，從而釋放模型的主干容量去處理復雜的邏輯推理。02.模型內部形成緊湊可讀的“電路”規模縮減16倍
這項技術的最大成果，是模型內部形成了緊湊且可讀的“電路”（Circuits）。在傳統密集模型中，完成一個任務可能需要成千上萬個節點協同工作，邏輯分散且難以捕捉。而在稀疏模型中，研究團隊觀察到了極簡的計算路徑：1、極簡的邏輯單元：例如在處理“字符串閉合”任務時，模型僅用12個節點就構建了一個完美的電路，清晰地展示了它是如何檢測單引號或雙引號是否閉合的。2、可讀的特征：神經元的激活變得具有明確的語義。研究人員發現了一些神經元專門負責檢測“單引號”，另一些則像“計數器”一樣精確地追蹤列表的嵌套深度。3、規模縮減16倍：對比實驗顯示，在相同的任務損失下，稀疏模型的電路規模比密集模型小了16倍。這意味著解讀AI思維的難度降低了整整一個數量級。
▲稀疏模型的電路規模比密集模型小了16倍（圖源：OpenAI技術論文）
為了驗證這些電路的真實性，團隊進行了“均值消融”實驗。結果證明，移除非電路節點對任務幾乎沒有影響，而一旦移除電路中的關鍵節點，模型性能就會瞬間崩塌。這證實了這些電路確實是模型執行任務的“必經之路”。
▲“均值消融”實驗（圖源：OpenAI技術論文）
03.稀疏模型解讀力強但速度慢千倍OpenAI提出“橋梁網絡”
為了測量稀疏模型計算的解耦程度。研究團隊設計了一套簡單的算法任務。對于每個模型，他們都將其剪裁成了仍能執行該任務的最小電路，并檢查了該電路的簡潔程度。研究團隊發現，用規模更大、稀疏度更高的模型進行訓練后，就能夠依托結構更簡潔的電路，構建出性能更強的模型。
▲模型的可解釋性與能力的對比圖（圖源：OpenAI技術博客）
從模型可解釋性與性能的對比圖可見，在稀疏模型規模固定的前提下，提升稀疏性，也就是將更多權重置零，雖會導致模型性能有所下降，但能顯著增強其可解釋性。盡管稀疏模型在可解釋性方面優勢突出，但其應用目前受限于計算效率瓶頸：稀疏矩陣運算無法借助Tensor Cores實現加速，運算速度較密集模型慢100至1000倍。這意味著，將該技術直接應用于千億參數級別的前沿大模型，現階段尚不具備可行性。為此，研究團隊提出了“橋梁網絡”（Bridges）方案：1、編碼-解碼映射：在稀疏模型與預訓練的密集模型之間插入一個編碼器-解碼器對。2、跨模型干預：編碼器將密集模型的激活映射到稀疏空間，解碼器則反向轉換。“橋梁網絡”（Bridges）方案可以在“透明”的稀疏模型上修改某個特征，然后通過橋梁將這種擾動映射回“黑箱”的密集模型，從而實現對現有大模型的可解釋性行為編輯。04.結語：OpenAI提出稀疏化新路徑讓大模型從“黑箱”走向“可解釋”
OpenAI研究團隊的這項研究，標志著AI可解釋性領域的一項重要突破，也印證了理解AI并非遙不可及的目標。研究團隊在論文博客中稱，這項工作是邁向更宏大目標的早期探索。接下來，他們計劃將相關技術擴展至更大規模的模型，同時進一步解釋更多模型的行為邏輯。為解決稀疏模型訓練效率低下的問題，團隊提出了兩個后續研究方向：一是從現有密集模型中提取稀疏電路，替代“從頭訓練稀疏模型”的傳統方式；二是研發更高效的可解釋性模型訓練技術，推動相關技術更易落地生產。“我們的目標是逐步擴大可可靠解釋的模型范圍，同時打造相關工具，讓未來的AI系統更易于分析、調試與評估。”研究團隊在論文博客中寫道。
