騰訊混元團隊正式發佈 Hy3 大語言模型,並在 Hugging FaceModelScope 等平臺開源模型權重,同時提供 FP8 量化版本。Hy3 採用 混合專家(MoE)架構,總參數量達 295B,但每次推理僅激活 21B 參數,外加 3.8B 的 MTP 層參數,在控制計算成本的同時追求旗艦級性能。

此次發佈距離 Hy3 Preview 版本僅約一個月。團隊稱,在 Preview 階段收集了超過 50 個產品團隊的反饋,修復了任務執行與交互中的多項問題,並擴大了後訓練數據的規模與多樣性。正式版 Hy3 在推理、智能體工作流和長上下文任務上均有顯著提升,上下文窗口達到 256K

在性能對標上,騰訊混元並未單純依賴公開基準分數。團隊邀請了 270 位來自不同領域的專家,基於真實工作流進行盲測,收集了 312 份有效對比。結果顯示,Hy3 綜合得分 2.67/4,高於 GLM-5.12.51/4,優勢在前端開發、CI/CD 和數據存儲等場景尤為突出。團隊強調,Hy3 的性能已接近國內外領先旗艦模型,但參數量僅為後者的幾分之一,定位為“更可靠、更具成本效益”的選擇。

產品化能力是本次更新的重點。團隊從用戶反饋和產品遙測數據中識別出多項影響實際體驗的行為問題,並針對性優化。在輸出格式與工具調用穩定性方面,Hy3 修復了多個基線可靠性缺陷,工具調用成功率與錯誤恢復能力提升,無效調用導致的無限循環問題減少。模型在不同智能體框架(如 CodeBuddyClineKiloCode)上的表現差異控制在 4% 以內,展現出良好的泛化性。

世界知識與反幻覺方面,團隊設定了“有據則答、缺證則言、不混淆來源、不編造數據”的理想行為模式,通過細粒度數據清洗與專項訓練約束,將真實場景下的幻覺率從 12.5% 降至 5.4%,常識錯誤率從 25.4% 降至 12.7%。這直接減少了事實混淆、憑空捏造和邏輯矛盾等問題。

複雜上下文保持與多輪意圖追蹤同樣是優化重點。通過監督微調與強化學習的聯合優化,Hy3 在指代消解、省略恢復和多輪約束繼承等環節取得進展,內部綜合多輪測試問題率從 17.4% 降至 7.9%,在開源長對話基準 MRCR 上的得分從 42.9% 躍升至 75.1%。整體輸出更簡潔,同時確保複雜意圖在長程交互中不衰減、不漂移。

部署方面,Hy3 總參數量較大,團隊建議使用 8 張 H20-3e 或更大顯存的 GPU 進行服務。模型支持 vLLMSGLang 推理框架,並提供 OpenAI 兼容 API 調用示例。用戶可通過設置 reasoning_effort 參數切換推理模式:複雜任務選用“high”以啟用深度思維鏈,常規對話使用“no_think”直接響應。

此次開源延續了騰訊混元系列的技術路線。Hy3 以 Apache-2.0 協議發佈,允許商用。在 MoE 架構日益成為大模型降本增效主流選擇的背景下,Hy3 的推出為開發者與企業用戶提供了一個在性能與成本之間尋求平衡的新選項,也可能對 AI 應用層的模型選型產生實際影響。