腾讯混元团队于11月21日凌晨在Reddit举行AMA,围绕刚开放权重的旗舰模型Hy4及主打低成本的Hy4 flash与全球开发者交流。此前一天腾讯开放了Hy4权重并发布模型安全评估卡片,数天前又推出Hy4 flash,连续动作让混元的技术路线成为社区焦点。团队在问答中确认,下一代Hy模型将进一步大幅扩大参数规模,同时继续投入大规模强化学习,并称坚信Scaling的重要性。

面对智东西关于先进AI芯片获取受限、Hy系列能否继续缩小与全球前沿差距的提问,混元团队成员回应称,正在尽可能充分地利用现有资源以追赶前沿水平。这一表态与团队对模型规模的判断形成对照:有开发者提到字节跳动、Kimi等正推进3T乃至5T参数的超大规模模型,而Hy系列仍在700B左右,团队解释称Hy3和Hy4已证明规模较小但训练扎实的模型往往能超越更大模型,且小尺寸成本更低、研发中积累更多。

产品规划方面,团队确认Hy4-mini已在路线图中,未来将推出更多小型模型;正在考虑24B—31B稠密模型,也可能推出更小稠密模型,但暂不专门开发100B参数以下、针对编程优化的模型。本地部署上,团队确认将推出面向24GB显存设备的模型,并继续开发适合64GB—128GB内存设备运行的模型,对经Q4量化后适配128GB内存的开放权重模型也给出肯定回答。Hy4 flash将继续更新,团队正优化Flash级模型的预训练与后训练方案。两款模型均为通用模型,并非专为编程任务训练。

架构细节首次披露:团队曾在GQA与MLA两种注意力机制间反复权衡,MLA计算强度明显高于GQA,在推理GPU上做推测解码时算力成为瓶颈,但相同KV Cache下MLA模型质量更好;随着DSA引入降低MLA解码阶段计算强度,权衡结果改变,最终采用MLA。Hy4 flash继承iHC、门控MLA和DSA,并引入混合SWA、LatentMoE和Engram等新组件。团队称SWA能将KV Cache规模缩小4倍,显著降低推理服务成本。

关于MoE稀疏度,团队认为过度稀疏不利于推理,会消耗大量GPU显存却无法充分利用算力,减少激活参数意味着更少计算投入和更弱能力。Engram参数占总参数量约1/3时达到最佳平衡。

评测与安全方面,团队提到第三方机构Artificial Analysis近期大幅调整评测体系,部分中国模型评分出现波动,但未展开具体应对。对于递归自我改进(RSI),团队称仍处早期,已开发多个内部评测基准,并正在开发Hyra 3.0打造可复用工具。有成员个人判断Hy4在AGI能力分级中约达2.5级。

成本数据上,据腾讯披露,在自建日常工作任务评测WorkIndex中,Hy4 flash单任务成本仅为Hy4的1/20;涉及85名内部用户、259项工作任务的盲测中,其单任务成本约0.26元。Hy4 flash总参数量224B,含64B Engram参数,每Token仅激活12B参数。

团队也坦言Hy4在部分高难度任务上仍与全球顶尖闭源模型存在差距,较长思维链导致过度思考是已知问题,但这也让团队能通过蒸馏将Hy4能力迁移至Hy4 flash,并用强化学习控制其思维链长度。整体看,这场AMA勾勒出一条在算力约束下兼顾模型规模、推理成本与开源生态的务实路线,其后续扩容与端侧小模型的落地节奏,将是观察中国大模型追赶进程的重要窗口。