腾讯混元团队在 Hugging Face 平台正式开源了 HiLS-Attention-7B 模型，一款基于原生稀疏注意力机制训练的 70 亿参数语言模型。该模型以 OLMo3-7B 为基座架构，通过仅 500 亿 token 的继续预训练，实现了对超长上下文的有效建模，同时保持了短文本与中文本任务上的可比性能。
HiLS-Attention 的核心创新在于其分层分块的稀疏注意力设计。传统分块稀疏注意力方法需要计算所有块的精确注意力分数才能筛选出最重要的块，这本身就需要完整的查询-键矩阵计算，计算开销并未真正降低。HiLS-Attention 另辟蹊径，使用压缩后的块键来估算每个块的重要性替代值，并将注意力分解为块间 softmax 与块内 softmax 两个阶段。这一设计使得模型可以在下一 token 预测损失的驱动下，端到端地学习哪些块值得关注，从而在训练阶段就原生地习得稀疏注意力模式，而非事后裁剪或近似。
从实际效果看，HiLS-Attention-7B 展现出两个关键优势。其一，模型具备强大的超长上下文外推能力，能够有效处理远超训练时上下文长度的输入序列，甚至超越了基于 YaRN 方法扩展 4 倍长度后的表现。其二，在处理长序列时，推理速度显著加快，这对实际部署中的延迟与吞吐量优化至关重要。与此同时，在原始训练长度范围内以及 YaRN 扩展范围内，模型在短文本和中文本基准测试上的表现与全注意力模型基本持平，避免了稀疏化常见的性能退化问题。
在评估方面，模型在多个长上下文基准上进行了验证，包括 LongBench v1（涵盖 21 项任务、最长 64K 输入）和 RULER（在 8K 至 128K 长度下进行合成探测），以及跨 64 至 256K 序列长度的困惑度测试。短文本能力则通过 OpenCompass 的 11 项基准进行评估，涵盖常识推理、数学生成和代码生成等任务。
需要注意的是，HiLS-Attention-7B 目前是一个预训练基座模型，未经过指令微调或安全对齐，不适用于直接部署到安全敏感的生产环境。模型输出可能存在不准确或有偏见的内容，使用者需自行评估适用性。由于模型依赖自定义的分层稀疏注意力机制，无法直接通过标准 Transformers 库的 AutoModel API 加载，必须通过官方 GitHub 代码库注册相应配置后才能运行。团队表示，SGLang 推理框架的支持已在规划中。
此次发布延续了腾讯混元在高效注意力机制方向上的探索。随着大模型上下文窗口不断扩展，全注意力的计算复杂度成为制约长文本应用落地的关键瓶颈。HiLS-Attention 以相对极少的继续训练 token 数实现了稀疏注意力的原生学习，为行业提供了一条兼顾性能与效率的技术路径。对于关注长文档问答、检索增强生成和超长文本摘要等场景的开发者和研究者而言，这一模型提供了一个值得关注的开源选项。