腾讯混元团队在 Hugging Face 发布了新一代混合专家(MoE)旗舰模型 Hy4-base,定位为预训练基础模型,支持文本、图像和视频理解。根据模型卡信息,其语言主干总参数为 770B,每个 token 激活 49B 参数(文本部分),视觉部分另有 1.23B 激活参数;模型共 78 层,第一层为稠密 FFN,其余 77 层为 MoE 层,每层包含 256 个路由专家和 1 个共享专家,每个 token 激活 top-8 路由专家与共享专家。
架构上,Hy4-base 的注意力模块采用 Gated DeepSeek Sparse Attention(Gated DSA) 并配合 IndexCache 做跨层稀疏索引复用,模型卡明确提到这一设计受到 DeepSeek 与 GLM 的启发。残差路径使用 iHC(identity Hyper-Connections)扩展层间信息流。视觉侧由一个 ViT 支持动态图像分辨率,并通过适配器把图像和视频帧特征转成视觉 token,与文本 token 一起送入语言模型。此外,模型内置一个 5 层、3.3B 参数的 DFly2 草稿器用于推测解码,可复用 Hy4 的 KV 缓存和稀疏索引,以较低且恒定的成本支持长上下文推测解码。
规格方面,Hy4-base 的上下文长度达到 1M(1,048,576)token,隐藏层维度 6,144,词表大小 120,832,注意力采用多头潜在注意力(MLA),共 64 个注意力头。视觉编码器为 40 层、隐藏维度 1,536,patch 尺寸 16×16。
模型卡公布了较详细的预训练基准对比,对比对象包括 Hy4 flash Base、Hy3 preview Base 以及 DeepSeek-V4-flash-Base、DeepSeek-V4-Pro-Base。在知识类任务上,Hy4 Base 的 MMLU 得分为 91.6,MMLU-Pro 为 73.9,C-Eval 为 95.0,CMMLU 为 93.1,SimpleQA 为 57.2,Chinese-SimpleQA 为 83.9。推理类任务中,ARC-Challenge 为 97.3,HellaSwag(3,000 题子集)为 87.1,KOR-Bench 为 57.6。数学任务 U-MATH 为 71.6,代码任务 MBPP-plus 为 74.0。多模态方面,MMMU-Pro(Standard,10 选项)为 59.6,SimpleVQA 为 54.5,CVBench 为 86.7,RealWorldQA 为 72.3,TextVQA 为 78.2,CountBenchQA 为 90.6。
腾讯在模型卡中提示,由于基础模型在中期训练阶段接触了大量合成指令数据,少样本评测时偶尔无法遵循预期答案格式,可能影响分数。这一说明提醒读者,基准数字需结合评测条件理解。
与 Hy4 preview 相比,Hy4 大幅扩展了预训练与后训练规模,新增视觉能力,并在指令遵循、长上下文理解、长程任务和深度研究方面有显著提升。模型卡列举的应用场景包括:结合感知、推理与工具调用理解细粒度图像细节和复杂图表;支持命令行界面(CLI)与图形界面(GUI)的计算机使用工作流;针对 Blender、CAD 等专业软件以及跨越多步骤的长程工作流进行定向训练;以及金融与办公流程、科学研究和 AI 研发等。
从产业视角看,Hy4-base 以开放权重形式发布,使外部开发者可直接基于该基座做微调与部署,模型卡同时提供了 vLLM、SGLang 等推理框架以及量化、微调指引。对关注 AI 产业的读者而言,值得留意的是旗舰级 MoE 模型的参数规模与稀疏激活比例、百万级上下文,以及推测解码草稿器这类降低长上下文推理成本的设计,这些都会影响下游应用的成本结构与开源模型生态的竞争节奏。模型采用腾讯自有许可证(tencent-hy-license),具体使用条款需以许可证文件为准。