騰訊混元團隊正式發佈並開源了新一代大語言模型Hy3,這是一個總參數量達295B的混合專家模型,但每次推理僅激活21B參數,外加3.8B的MTP層參數。該模型在Hugging Face、ModelScope、GitCode及CNB等多個平臺同步上線,採用Apache-2.0許可證,並提供了FP8量化版本以降低部署門檻。
Hy3的架構設計延續了MoE路線,包含192個專家,每次推理激活其中8個。模型支持高達256K的上下文長度,詞彙表規模為120832。團隊推薦使用H20-3e等大顯存GPU進行8卡部署,並已適配vLLM和SGLang兩大推理框架,提供專用部署方案。
在性能表現上,Hy3團隊並未完全依賴公開基準測試,而是組織了一場由270位專家參與的盲測,使用其實際工作中的任務進行評估。結果顯示,Hy3以2.67分(滿分4分)的成績超越了GLM-5.1的2.51分,尤其在前端開發、數據存儲和CI/CD等生產力場景中優勢明顯。團隊稱,Hy3在編程、辦公、金融建模、前端設計和遊戲開發等場景中已可作為可靠且成本效益高的模型選項。
此次發佈的重點在於產品化能力的提升。團隊根據來自50餘款產品的反饋,針對實際落地中的痛點進行了系統性修復。在工具調用與輸出格式穩定性方面,Hy3修復了多項基線可靠性問題,使模型達到生產級標準,工具調用錯誤恢復能力與整體效率均有提升。在SWE-Bench Verified測試中,Hy3在不同智能體框架(如CodeBuddy、Cline、KiloCode)上的準確率波動控制在4%以內,展現出良好的框架泛化能力。
抗幻覺能力是本次升級的核心亮點之一。團隊遵循“有據則答,無據則明,不混淆來源、不編造數據”的原則,通過細粒度數據清洗與訓練約束,將內部真實場景評測中的幻覺率從12.5%大幅降至5.4%,常識性錯誤率從25.4%降至12.7%。這些改進直接減少了事實混淆、數據捏造和邏輯矛盾等問題。
在複雜上下文保持與多輪意圖追蹤方面,通過SFT與RL的聯合優化,Hy3在指代消解、省略恢復和多輪約束繼承等操作痛點上取得顯著進展。內部綜合多輪測試的問題率從17.4%降至7.9%,在MRCR等長對話評測中也有明顯提升,模型輸出更為簡潔,同時確保複雜意圖在長程交互中不衰減、不漂移。
Hy3的推理模式支持通過`reasoning_effort`參數靈活切換:設為`high`時啟用深度思維鏈,適用於數學、編程和推理等複雜任務;設為`no_think`則直接輸出回覆。推薦生成參數為`temperature=0.9`、`top_p=1.0`。
從產業視角看,Hy3的發佈進一步豐富了開源大模型生態。它以21B的激活參數量實現了對標2-5倍參數規模旗艦模型的性能,這在算力成本日益成為AI應用落地瓶頸的背景下,為開發者和企業提供了更具性價比的選擇。同時,騰訊選擇將模型權重全面開源,並配套完善的部署工具鏈,顯示出其在AI基礎設施層構建開發者生態的戰略意圖。