騰訊混元團隊在 Hugging Face 平臺正式開源了 HiLS-Attention-7B 模型，一款基於原生稀疏注意力機制訓練的 70 億參數語言模型。該模型以 OLMo3-7B 為基座架構，通過僅 500 億 token 的繼續預訓練，實現了對超長上下文的有效建模，同時保持了短文本與中文本任務上的可比性能。
HiLS-Attention 的核心創新在於其分層分塊的稀疏注意力設計。傳統分塊稀疏注意力方法需要計算所有塊的精確注意力分數才能篩選出最重要的塊，這本身就需要完整的查詢-鍵矩陣計算，計算開銷並未真正降低。HiLS-Attention 另闢蹊徑，使用壓縮後的塊鍵來估算每個塊的重要性替代值，並將注意力分解為塊間 softmax 與塊內 softmax 兩個階段。這一設計使得模型可以在下一 token 預測損失的驅動下，端到端地學習哪些塊值得關注，從而在訓練階段就原生地習得稀疏注意力模式，而非事後裁剪或近似。
從實際效果看，HiLS-Attention-7B 展現出兩個關鍵優勢。其一，模型具備強大的超長上下文外推能力，能夠有效處理遠超訓練時上下文長度的輸入序列，甚至超越了基於 YaRN 方法擴展 4 倍長度後的表現。其二，在處理長序列時，推理速度顯著加快，這對實際部署中的延遲與吞吐量優化至關重要。與此同時，在原始訓練長度範圍內以及 YaRN 擴展範圍內，模型在短文本和中文本基準測試上的表現與全注意力模型基本持平，避免了稀疏化常見的性能退化問題。
在評估方面，模型在多個長上下文基準上進行了驗證，包括 LongBench v1（涵蓋 21 項任務、最長 64K 輸入）和 RULER（在 8K 至 128K 長度下進行合成探測），以及跨 64 至 256K 序列長度的困惑度測試。短文本能力則通過 OpenCompass 的 11 項基準進行評估，涵蓋常識推理、數學生成和代碼生成等任務。
需要注意的是，HiLS-Attention-7B 目前是一個預訓練基座模型，未經過指令微調或安全對齊，不適用於直接部署到安全敏感的生產環境。模型輸出可能存在不準確或有偏見的內容，使用者需自行評估適用性。由於模型依賴自定義的分層稀疏注意力機制，無法直接通過標準 Transformers 庫的 AutoModel API 加載，必須通過官方 GitHub 代碼庫註冊相應配置後才能運行。團隊表示，SGLang 推理框架的支持已在規劃中。
此次發佈延續了騰訊混元在高效注意力機制方向上的探索。隨著大模型上下文窗口不斷擴展，全注意力的計算複雜度成為制約長文本應用落地的關鍵瓶頸。HiLS-Attention 以相對極少的繼續訓練 token 數實現了稀疏注意力的原生學習，為行業提供了一條兼顧性能與效率的技術路徑。對於關注長文檔問答、檢索增強生成和超長文本摘要等場景的開發者和研究者而言，這一模型提供了一個值得關注的開源選項。