7月27日晚,月之暗面正式釋出並開源了其最新大模型Kimi K3,同時公開了模型權重、技術報告以及支撐其訓練的關鍵基礎設施技術。這一舉動標誌著國內大模型開源領域迎來一個重量級選手。
Kimi K3是一個擁有2.8萬億引數的混合專家(MoE)模型。與傳統的稠密模型不同,MoE架構通過將模型分解為多個“專家”子網路,在處理每個輸入時只啟用其中一部分,從而在保持強大能力的同時顯著降低推理成本。該模型具備原生視覺理解能力,能夠直接處理影像資訊,並支援高達100萬token的上下文視窗,這意味著它可以一次性處理超長文本或大量文件。
月之暗面不僅開源了模型本身,還一併公開了支撐Kimi K3訓練的三項關鍵基礎設施技術:MoonEP、FlashKDA和AgentEnv。這些技術分別針對模型訓練中的專家並行、注意力機制最佳化以及智慧體環境構建等核心環節,為其他研究者和開發者提供了寶貴的工程實踐參考。
開源訊息釋出後,生態響應迅速。7月28日,國家超算網際網路AI社群正式上線了Kimi K3模型及其API呼叫服務。企業和開發者可以通過該社群一鍵呼叫API,快速下載模型檔案並進行部署開發,從而直接利用這一2.8萬億引數的開源大模型能力。這大大降低了使用超大規模模型的門檻。
Kimi K3的開源策略在業界引發廣泛關注。此前,國內開源大模型多以百億至千億引數級別為主,2.8萬億引數的MoE模型開源尚屬首次。此舉不僅展示了月之暗面在模型訓練和工程化方面的技術實力,也可能對國內AI產業生態產生深遠影響。對於AI應用開發者而言,他們獲得了更強的底層模型選擇;對於算力基礎設施提供商而言,大規模模型的部署和推理需求將直接拉動對高階晶片和雲服務的需求。同時,開源模式也有助於吸引全球開發者社群參與模型最佳化和應用創新,加速技術迭代。
月之暗面表示,現在每個人都可以下載並部署Kimi K3模型,無論是用於內部研發,還是嵌入到面向終端使用者的產品中,均可自由使用。這一開放姿態,有望推動國內大模型從“軍備競賽”向“生態共建”轉變。