7月27日晚,月之暗面正式发布并开源了其最新大模型Kimi K3,同时公开了模型权重、技术报告以及支撑其训练的关键基础设施技术。这一举动标志着国内大模型开源领域迎来一个重量级选手。
Kimi K3是一个拥有2.8万亿参数的混合专家(MoE)模型。与传统的稠密模型不同,MoE架构通过将模型分解为多个“专家”子网络,在处理每个输入时只激活其中一部分,从而在保持强大能力的同时显著降低推理成本。该模型具备原生视觉理解能力,能够直接处理图像信息,并支持高达100万token的上下文窗口,这意味着它可以一次性处理超长文本或大量文档。
月之暗面不仅开源了模型本身,还一并公开了支撑Kimi K3训练的三项关键基础设施技术:MoonEP、FlashKDA和AgentEnv。这些技术分别针对模型训练中的专家并行、注意力机制优化以及智能体环境构建等核心环节,为其他研究者和开发者提供了宝贵的工程实践参考。
开源消息发布后,生态响应迅速。7月28日,国家超算互联网AI社区正式上线了Kimi K3模型及其API调用服务。企业和开发者可以通过该社区一键调用API,快速下载模型文件并进行部署开发,从而直接利用这一2.8万亿参数的开源大模型能力。这大大降低了使用超大规模模型的门槛。
Kimi K3的开源策略在业界引发广泛关注。此前,国内开源大模型多以百亿至千亿参数级别为主,2.8万亿参数的MoE模型开源尚属首次。此举不仅展示了月之暗面在模型训练和工程化方面的技术实力,也可能对国内AI产业生态产生深远影响。对于AI应用开发者而言,他们获得了更强的底层模型选择;对于算力基础设施提供商而言,大规模模型的部署和推理需求将直接拉动对高端芯片和云服务的需求。同时,开源模式也有助于吸引全球开发者社区参与模型优化和应用创新,加速技术迭代。
月之暗面表示,现在每个人都可以下载并部署Kimi K3模型,无论是用于内部研发,还是嵌入到面向终端用户的产品中,均可自由使用。这一开放姿态,有望推动国内大模型从“军备竞赛”向“生态共建”转变。