蚂蚁集团旗下开源团队 inclusionAI 在 Hugging Face 与 ModelScope 上线了 LingSante-3.1-flash-MXFP4,这是一款面向医疗场景的开源权重混合专家(MoE)模型。它基于此前的 LingSante-3.1-flash 构建,主模型参数约 5600 亿,每个 token 激活约 250 亿参数,配置的上下文窗口为 262,144 个 token。此次发布的 MXFP4 版本并非重新训练,而是对原模型做训练后量化得到的压缩版本,全部检查点文件合计约 291.72 GiB(313.23 GB)。

从架构看,LingSante-3.1-flash-MXFP4 延续了源模型的混合线性 MoE 设计:63 层 KDA 加 9 层 Gated MLA(比例 7:1)、1 层 MTP 预测层、4 层稠密层,路由专家 512 个、共享专家 1 个,每 token 激活 8 个路由专家;注意力头 64 个,隐藏维度 4096,词表规模 157,184。这些参数说明它并非把通用模型简单套上医疗数据,而是在架构层面就为长上下文与多专家协同做了配置。

量化方案是这次发布的核心看点。模型采用无数据、无额外训练的 RTN(round-to-nearest)训练后量化,只对路由专家的 gate_proj、up_proj、down_proj 三个矩阵做 MXFP4 压缩,权重格式为 E2M1、分组大小 32、每组一个共享 E8M0 缩放因子、每字节打包两个 FP4 值。其余模块按精度分层保留:源 FP8 的稠密 MLP、共享专家、KDA 与注意力矩阵保持 FP8(E4M3,128×128 分块,FP32 缩放);嵌入层、lm_head、路由权重、归一化层、MLA 的 g_proj、KDA 的 b_proj 与卷积权重、MTP 的 eh_proj 保留 BF16;KDA 的 A_log、dt_bias 与路由 expert_bias 则保留 FP32。推理时专家激活精度可在服务端配置为 W4A8(FP8 E4M3,分组 32)或 W4A16(BF16)。官方推荐部署配置为 4 张 NVIDIA H20-3e,并行策略 TP4 / EP4 / DP1。

训练层面,源模型在预训练、中期训练与监督微调阶段均将通用数据与医疗数据混合使用:医疗数据提供领域知识与临床训练样本,通用数据则维持推理、编程、搜索与工具调用等广泛能力。后训练阶段进一步用强化学习提升医疗推理、工具使用、搜索与专业行为表现,最后通过多教师在线策略蒸馏把互补能力汇入单一模型。官方围绕三个方向搭建了训练框架:医疗证据—推理对齐框架,用于强化临床决策关键因素的识别与证据冲突消解;长程医疗任务框架,结合交互环境、多样化工具场景与结构化验证,训练模型在动态医疗流程中可靠执行多步骤任务;专业行为对齐框架,让输出贴合真实临床场景与医疗职业规范。

需要明确的是,官方将 LingSante-3.1-flash-MXFP4 定位为研究与评估用途,它不是医疗器械,不得作为诊断、处方或治疗的独立依据。发布页给出的基准测试分数属于源模型 LingSante-3.1-flash,并不代表量化后检查点的实测表现,这一点在评估该版本实际能力时值得留意。

从产业视角看,这次发布延续了医疗垂直模型开源化的趋势,也把「大参数 MoE + 低比特量化」的组合推到台前。5600 亿参数的模型经 MXFP4 压缩后文件体积控制在约 292 GiB,配合 4 张 H20-3e 的推荐配置,意味着机构在自有环境部署医疗大模型的门槛有所下降。对关注 AI 医疗落地的投资者而言,值得跟踪的是这类模型在真实临床工作流中的验证进展、推理成本曲线,以及开源医疗模型与闭源方案之间的能力差距如何演变。