騰訊混元團隊今日在Hugging Face等平台開源了新一代MoE旗艦模型Hy4 preview及其FP8量化版本Hy4 preview-FP8。該模型總引數達770B（含MTP層共804B），每token啟用49B引數，支援100萬token上下文長度，定位為面向真實生產力的開源前沿模型。
Hy4 preview在架構上融合了多項創新：採用Gated DeepSeek Sparse Attention（Gated DSA），並引入IndexCache實現跨層稀疏索引複用；殘差路徑使用iHC（identity Hyper-Connections）以增強層間資訊流動。模型共78層，其中首層為標準稠密FFN，其餘77層為MoE結構，每層包含256個路由專家和1個共享專家，每個token啟用top-8路由專家。此外，模型內建1個原生MTP層（10B引數，啟用0.7B）用於投機解碼，以提升推理速度。
在訓練上，騰訊混元團隊從模型規模、上下文長度和訓練資料三個維度對Hy4 preview進行了擴充套件。團隊與騰訊內部軟體工程師、遊戲開發者、金融分析師和安全專家合作，圍繞這些崗位的實際工作構建訓練資料，使模型在軟體工程、辦公分析、遊戲開發和科學研究等任務上表現更佳。例如，在軟體工程方面，模型能更好地理解、規劃、除錯和驗證長週期開發任務；在辦公分析方面，能將多檔案中的雜亂上下文轉化為可分享的文件、表格和簡報。
為驗證模型效果，騰訊進行了內部盲測：163名內部專家對203項工程任務進行評分，Hy4 preview平均得分2.99，略高於GLM 5.3的2.92（勝率46.8%）和Kimi K3的2.94（勝率51.2%）。不過，團隊也坦言這是早期版本，在預訓練和後訓練上仍有提升空間，已知問題包括在複雜任務上推理耗時過長、傾向於過度驗證自身工作等。團隊表示將快速迭代，並繼續與騰訊產品（如CodeBuddy、WorkBuddy）協同設計，使模型能力更直接地轉化為實際生產力。
Hy4 preview的權重已在Hugging Face、ModelScope、GitCode和CNB四個平台開源，支援通過vLLM或SGLang進行部署，並提供OpenAI相容API。推薦引數為temperature=0.9、top_p=1.0，預設推理模式為深度思維鏈（reasoning_effort="high"），適合數學、程式設計等複雜任務；如需直接回答，可設定reasoning_effort="no_think"。
此次開源是騰訊在開源大模型領域的重要一步。Hy4 preview的引數規模與效能對標當前頭部開源模型，其FP8量化版本進一步降低了部署門檻，有望推動AI應用在更多場景落地。對於AI產業而言，這標誌著開源模型在真實生產力任務上的能力再上台階，也為下游應用開發者和推理基礎設施提供商帶來了新的選擇與機遇。