腾讯混元团队正式发布并开源了新一代大语言模型Hy3,这是一个总参数量达295B混合专家模型,但每次推理仅激活21B参数,外加3.8B的MTP层参数。该模型在Hugging Face、ModelScope、GitCode及CNB等多个平台同步上线,采用Apache-2.0许可证,并提供了FP8量化版本以降低部署门槛。

Hy3的架构设计延续了MoE路线,包含192个专家,每次推理激活其中8个。模型支持高达256K的上下文长度,词汇表规模为120832。团队推荐使用H20-3e等大显存GPU进行8卡部署,并已适配vLLMSGLang两大推理框架,提供专用部署方案。

在性能表现上,Hy3团队并未完全依赖公开基准测试,而是组织了一场由270位专家参与的盲测,使用其实际工作中的任务进行评估。结果显示,Hy3以2.67分(满分4分)的成绩超越了GLM-5.12.51分,尤其在前端开发、数据存储和CI/CD等生产力场景中优势明显。团队称,Hy3在编程、办公、金融建模、前端设计和游戏开发等场景中已可作为可靠且成本效益高的模型选项。

此次发布的重点在于产品化能力的提升。团队根据来自50余款产品的反馈,针对实际落地中的痛点进行了系统性修复。在工具调用与输出格式稳定性方面,Hy3修复了多项基线可靠性问题,使模型达到生产级标准,工具调用错误恢复能力与整体效率均有提升。在SWE-Bench Verified测试中,Hy3在不同智能体框架(如CodeBuddy、Cline、KiloCode)上的准确率波动控制在4%以内,展现出良好的框架泛化能力。

抗幻觉能力是本次升级的核心亮点之一。团队遵循“有据则答,无据则明,不混淆来源、不编造数据”的原则,通过细粒度数据清洗与训练约束,将内部真实场景评测中的幻觉率从12.5%大幅降至5.4%,常识性错误率从25.4%降至12.7%。这些改进直接减少了事实混淆、数据捏造和逻辑矛盾等问题。

在复杂上下文保持与多轮意图追踪方面,通过SFT与RL的联合优化,Hy3在指代消解、省略恢复和多轮约束继承等操作痛点上取得显著进展。内部综合多轮测试的问题率从17.4%降至7.9%,在MRCR等长对话评测中也有明显提升,模型输出更为简洁,同时确保复杂意图在长程交互中不衰减、不漂移。

Hy3的推理模式支持通过`reasoning_effort`参数灵活切换:设为`high`时启用深度思维链,适用于数学、编程和推理等复杂任务;设为`no_think`则直接输出回复。推荐生成参数为`temperature=0.9`、`top_p=1.0`。

从产业视角看,Hy3的发布进一步丰富了开源大模型生态。它以21B的激活参数量实现了对标2-5倍参数规模旗舰模型的性能,这在算力成本日益成为AI应用落地瓶颈的背景下,为开发者和企业提供了更具性价比的选择。同时,腾讯选择将模型权重全面开源,并配套完善的部署工具链,显示出其在AI基础设施层构建开发者生态的战略意图。