在大型語言模型（LLM）的發展中，注意力機制始終是核心組件。傳統全注意力機制雖能高效處理信息，但其計算復雜度隨文本長度呈平方級增長，成為處理長文檔的瓶頸。近年來，研究者們開始探索“稀疏注意力”和“線性注意力”兩種改進方向，試圖在效率與效果之間找到平衡。

線性注意力通過移除全注意力中的Softmax函數，將復雜度從平方級降至線性級。這一思路最早可追溯至2020年的研究，其核心是將自注意力機制轉化為循環神經網絡（RNN）的遞推形式。然而，早期線性注意力在信息檢索能力上存在缺陷，難以在長文本中保持穩定表現。直到2021年，研究者引入Delta Rule更新規則，通過更高效的權重調整機制，顯著提升了線性注意力的上下文建模能力。

2024年，線性注意力領域迎來重要突破。阿里巴巴與月之暗面分別開源的Qwen3-Next和Kimi Linear模型，均采用線性注意力與全注意力的混合架構。其中，線性注意力部分基于DeltaNet的改進版本Gated DeltaNet，通過引入門控機制和動態衰減策略，進一步優化了記憶控制與信息檢索效率。這種混合設計既保留了全注意力在短文本中的優勢，又利用線性注意力降低了長文本推理的計算成本。

DeltaNet的核心貢獻者楊松琳指出，線性注意力的理論缺陷在于其狀態空間固定，導致長文本處理能力受限。然而，這一特性也使其在推理階段具有顯著優勢：混合架構中75%的層替換為線性注意力后，模型的KV Cache規?？蓽p少3/4，從而支持更大批量的推理請求。這種效率提升在需要同時服務大量用戶的場景中尤為重要。

盡管線性注意力在效率上表現突出，但其效果仍存在爭議。MiniMax公司在2024年初發布的M1模型中嘗試了線性注意力與全注意力的混合架構，但在同年10月發布的M2模型中又回歸全注意力。研究者分析認為，線性注意力在多跳推理任務中表現較弱，其模糊化的信息處理方式難以滿足Agentic AI對精準狀態追蹤的需求。相比之下，全注意力通過直接建模點對點關系，在復雜推理任務中更具優勢。

數據限制成為線性注意力發展的新機遇。研究表明，在數據量較小的后訓練和強化學習階段，線性注意力因其歸納偏見特性可能表現更優。其鄰近token關注傾向在數據稀缺時能提供更穩定的先驗知識，而全注意力則可能因數據不足導致過擬合。線性注意力在計算理論上屬于NC1-complete架構，具備超越TC?類架構（如全注意力）的狀態追蹤能力，這在需要持續維護變量狀態的代碼生成或網頁操作任務中具有潛在優勢。

當前，線性注意力的研究正聚焦于更新規則的優化。研究者嘗試將梯度下降、動態擴容等機制引入權重更新過程，例如通過多次梯度下降替代單次更新，或在記憶狀態中引入混合專家（MoE）結構。同時，滑窗機制與線性注意力的結合也成為新方向，鄰近token采用滑窗處理，遠距離信息則通過線性注意力壓縮，以平衡計算效率與信息完整性。

稀疏注意力作為另一主要改進方向，正朝著動態稀疏化發展。靜態稀疏化因信息遺漏風險已被逐步淘汰，而動態稀疏化通過block級或token級的選擇機制，在硬件實現效率與信息完整性間尋求平衡。例如，DeepSeek的動態稀疏注意力（DSA）采用輕量級全注意力作為“indexer”，生成全局注意力矩陣后進行Top-K選擇，既保證了精度又降低了計算成本。然而，稀疏注意力仍面臨KV Cache規模瓶頸，多數實現仍需保留全部緩存，限制了其在長文本場景中的應用。

線性注意力開源社區FLA的興起為技術普及提供了新動力。該社區由楊松琳發起，旨在通過標準化算子庫和模塊化設計降低線性注意力的使用門檻。核心貢獻者張宇開發的變長訓練模塊，解決了線性注意力在動態序列處理中的關鍵難題。Kimi團隊正是通過FLA社區注意到張宇的工作，并邀請其加入研究團隊，進一步推動了線性注意力的工業應用。

盡管混合架構已成為當前主流，但研究者普遍認為，完全替代全注意力仍需突破。理想的長文本處理方案可能需要結合稀疏注意力的信息選擇能力與線性注意力的計算效率。例如，通過動態混合DSA與Gated DeltaNet，在全局層面用稀疏注意力篩選關鍵信息，在局部層面用線性注意力壓縮冗余內容，從而構建更高效的長文本處理架構。這一方向的研究或將為大型語言模型的規?；瘧瞄_辟新路徑。