DeepSeek 在 Hugging Face 上線 DeepSeek-V4.1-Flash，這是一款原生多模態的混合專家（MoE）模型，骨幹引數規模 552B，支援最長 100 萬 token 的上下文，可同時處理影像與文本並自迴歸生成文本。模型頁面顯示其採用 MIT 許可，基於 transformers 庫，屬於影像-文本到文本任務型別。

從架構看，V4.1-Flash 的核心變化在於用因果編碼器-解碼器（CED）結構替代傳統解碼器堆疊：整個模型為 40 層 Transformer，前 20 層為因果編碼器、後 20 層為解碼器。解碼器的全域性 KV 快取不再由各解碼層自身隱狀態推導，而是從編碼器最終隱狀態投影而來。這一設計讓模型在預填充階段每 token 僅啟用 8B 引數、解碼階段啟用 16B 引數，對輸入量大的智慧體類工作負載可顯著改善成本效率。

KV 快取壓縮是這份技術報告的主線。模型引入 SWA Bounded Replay，通過只回放最近 n_win 個 token 來重建缺失的滑動視窗注意力 KV 狀態，無需把 SWA KV 持久化到 SSD，持久化 KV 快取佔用降至 DeepSeek-V4-Flash 的約八分之一。同時，壓縮稀疏注意力 CSA2 為每個注意力層分配 Full、Reindex、Reuse 三種靜態模式之一，跨層共享主 KV 與索引器 K，並複用 Top-K 稀疏注意力索引；解碼器中的分層稀疏索引器進一步把後續索引層限制在首個 Full 模式層構建的候選池內，使深層索引成本與上下文長度解耦。配合 FP4 主 KV 快取（E2M1 格式，每 16 通道一個 E4M3 縮放因子），全域性 KV 快取佔用降至每 token 890 位元組，約為 V4-Flash 的四分之一。報告給出的對比圖顯示，相比 V4-Flash 與初代 V1，V4.1-Flash 的每 token 全域性 KV 快取分別實現約 4 倍和 437 倍的縮減。

其他架構元件包括 Single-Pass mHC（改進的殘差流混合，配套高效的 Mega-mHC 核心）、Engram 條件記憶（196B 引數，通過基於 token 的查詢稀疏訪問）以及 DSpark 推測解碼（半自迴歸草稿生成，配合按置信度排程的驗證）。MoE 層每層配置 1 個共享專家與 384 個路由專家，每 token 啟用 6 個路由專家。多模態方面，視覺編碼器 DeepSeek-ViT 從零訓練，採用 2D-RoPE 與 3×3 畫素反洗牌下采樣，經兩層 MLP 投影器轉為視覺嵌入，從語言模型預訓練之初就與文本嵌入聯合處理。

訓練層面，V4.1-Flash 在包含 45T token 的多模態語料上從零訓練，稀疏注意力在 64K 序列長度上訓練，並在 34T token 處把上下文擴充套件至 100 萬 token。後訓練沿用標準的 SFT → RL → 線上策略蒸餾（OPD）範式，未做演算法改動，主要變化集中在資料管線：大規模自動化合成智慧體任務與環境，並逐步擴充套件資料、任務與 rollout 規模。模型還支援 1 至 100 的連續可控推理力度設定，用於在推理成本與準確率之間做權衡。

評測方面，基礎模型在內部框架統一設定下評估，差距在 0.3 分以內視為相當。V4.1-Flash-Base 在 MMLU-Pro 上取得 74.1，高於 V4-Flash-Base 的 68.3 與 V4-Pro-Base 的 73.5；HumanEval 為 79.4，GSM8K 為 93.0，均高於兩個對照版本。多模態基準上，MMMU-Pro 為 56.5、CVBench 為 77.9、DocVQA 為 95.6、RefCOCO-avg 為 86.0。長上下文 LongBench-V2 為 45.2，低於 V4-Pro-Base 的 51.5。

指令模型方面，所有結果均在最大推理力度（reasoning_effort=100）、temperature=1.0、top_p=0.95 下評測。與前沿模型對比中，V4.1-Flash 在 GPQA Diamond 上得 90.9，Codeforces 評分為 3471，MathArena Apex 為 65.6；HLE 為 36.8（括號內 39.1）。程式碼智慧體基準使用 DeepSeek Harness 的 Minimal 模式與 100 萬 token 上下文視窗，其中 DeepSWE v1.1 採用 mini-SWE harness、SEC-Bench Pro 採用 Claude Code harness；視覺智慧體基準使用 Claude Code harness 與 512k token 上下文視窗。

整體來看，V4.1-Flash 的釋出延續了 DeepSeek 在 MoE 與稀疏注意力方向上的迭代思路，把重點放在長上下文與智慧體場景下的推理成本控制上。對產業鏈而言，KV 快取佔用的大幅下降意味著同等視訊記憶體條件下可承載更長的上下文或更高的併發，這對推理側算力效率與部署成本具有直接影響；而原生多模態與百萬級上下文的組合，也使其在文件理解、視覺智慧體等輸入密集型任務上具備更強的適用性。