腾讯混元团队今日在Hugging Face等平台开源了新一代MoE旗舰模型Hy4 preview及其FP8量化版本Hy4 preview-FP8。该模型总参数达770B（含MTP层共804B），每token激活49B参数，支持100万token上下文长度，定位为面向真实生产力的开源前沿模型。
Hy4 preview在架构上融合了多项创新：采用Gated DeepSeek Sparse Attention（Gated DSA），并引入IndexCache实现跨层稀疏索引复用；残差路径使用iHC（identity Hyper-Connections）以增强层间信息流动。模型共78层，其中首层为标准稠密FFN，其余77层为MoE结构，每层包含256个路由专家和1个共享专家，每个token激活top-8路由专家。此外，模型内置1个原生MTP层（10B参数，激活0.7B）用于投机解码，以提升推理速度。
在训练上，腾讯混元团队从模型规模、上下文长度和训练数据三个维度对Hy4 preview进行了扩展。团队与腾讯内部软件工程师、游戏开发者、金融分析师和安全专家合作，围绕这些岗位的实际工作构建训练数据，使模型在软件工程、办公分析、游戏开发和科学研究等任务上表现更佳。例如，在软件工程方面，模型能更好地理解、规划、调试和验证长周期开发任务；在办公分析方面，能将多文件中的杂乱上下文转化为可分享的文档、表格和演示文稿。
为验证模型效果，腾讯进行了内部盲测：163名内部专家对203项工程任务进行评分，Hy4 preview平均得分2.99，略高于GLM 5.3的2.92（胜率46.8%）和Kimi K3的2.94（胜率51.2%）。不过，团队也坦言这是早期版本，在预训练和后训练上仍有提升空间，已知问题包括在复杂任务上推理耗时过长、倾向于过度验证自身工作等。团队表示将快速迭代，并继续与腾讯产品（如CodeBuddy、WorkBuddy）协同设计，使模型能力更直接地转化为实际生产力。
Hy4 preview的权重已在Hugging Face、ModelScope、GitCode和CNB四个平台开源，支持通过vLLM或SGLang进行部署，并提供OpenAI兼容API。推荐参数为temperature=0.9、top_p=1.0，默认推理模式为深度思维链（reasoning_effort="high"），适合数学、编程等复杂任务；如需直接回答，可设置reasoning_effort="no_think"。
此次开源是腾讯在开源大模型领域的重要一步。Hy4 preview的参数规模与性能对标当前头部开源模型，其FP8量化版本进一步降低了部署门槛，有望推动AI应用在更多场景落地。对于AI产业而言，这标志着开源模型在真实生产力任务上的能力再上台阶，也为下游应用开发者和推理基础设施提供商带来了新的选择与机遇。