月之暗面(Moonshot AI)於今日在Hugging Face平台正式釋出其最新一代開源模型Kimi K3。該模型擁有2.8萬億(2.8T)引數,是公司迄今最強大的模型,也是全球首個開源3T級模型。Kimi K3定位為原生多模態智慧體模型,支援文本、影像與影片理解,並具備100萬token的超長上下文視窗,旨在推動前沿智慧在長時編碼、知識工作與複雜推理等領域的應用。
Kimi K3在架構上採用了多項創新。它基於Kimi Delta Attention(KDA)與Attention Residuals(AttnRes)構建,並引入Stable LatentMoE框架,將MoE稀疏性擴充套件至896個專家中啟用16個,相比前代Kimi K2,整體擴充套件效率提升約2.5倍。模型總引數量2.8T,啟用引數為104B,包含93層網路,其中69層採用KDA、24層採用Gated MLA注意力。視覺編碼器採用MoonViT-V2,引數規模401M。量化方面,Kimi K3採用MXFP4權重與MXFP8啟用的量化感知訓練。
在效能表現上,Kimi K3在多項基準測試中展現出競爭力。在推理與知識類任務中,其GPQA Diamond得分93.5,HLE-Full(無工具/有工具)得分43.5/56.0。在編碼任務中,Kimi K3在SWE-Marathon上取得42.0分,顯著領先於對比模型(如Claude Fable 5的35.0、GPT-5.5的14.0),但在DeepSWE上得分67.5,略低於Claude Fable 5的70.0。在智慧體任務中,其BrowseComp得分91.2,MCPMark-Verified得分94.5,均優於多數對比模型。視覺理解方面,OmniDocBench得分91.1,Video-MME(帶字幕)得分90.0,表現突出。所有Kimi K3結果均在推理強度設為'max'、溫度1.0的條件下取得。
Kimi K3的釋出標誌著開源模型在規模與能力上邁入新階段。其2.8T引數規模與100萬token上下文的組合,為長時程編碼、複雜知識工作等場景提供了新的可能性。模型權重以Kimi K3 License完全開放,允許研究、部署與進一步創新,這將吸引開發者與研究者基於其構建應用,可能推動AI應用生態的繁榮。
從產業視角看,Kimi K3的釋出加劇了開源與閉源模型的競爭。其在部分基準上超越或接近主流閉源模型(如GPT-5.6 Sol、Claude Opus 4.8),尤其在SWE-Marathon與MCPMark等智慧體相關任務上優勢明顯,顯示出開源模型在特定領域已具備領先實力。然而,在CritPt(23.4 vs 28.6)與DeepSWE(67.5 vs 70.0)等任務上,Kimi K3仍與頂尖閉源模型存在差距,表明推理深度與複雜工程任務上仍有提升空間。
對於AI產業鏈而言,Kimi K3的開源策略可能降低前沿模型的使用門檻,推動下游應用創新,尤其在需要長上下文與多模態能力的場景(如自動化程式設計、深度研究、影片編輯等)。同時,其2.8T引數規模與104B啟用引數的設計,對推理基礎設施的算力與記憶體提出更高要求,可能帶動相關硬體與雲服務需求。整體來看,Kimi K3的釋出是開源大模型領域的一個重要里程碑,其實際表現與生態發展值得持續關注。