阿里通义千问团队在Hugging Face上发布了Qwen3.8-Flash-Next的实验性预览权重,并明确将其定位为支撑下一代Qwen4的架构雏形。该模型采用图像-文本到文本的多模态管线,总参数180B,其中语言模型部分为125B参数、每次推理激活6B,另配51B的n-gram嵌入与4B的多令牌预测(MTP)模块。原生上下文长度为262,144 token,并可扩展至1,000,000 token。
与常规版本发布不同,这次的重点不在榜单分数,而在架构层面的三项改动。其一是混合注意力:模型将原有的门控DeltaNet与门控注意力组合,替换为门控DeltaNet搭配Qwen稀疏注意力(QSA)。QSA不再逐token筛选,而是在微块(micro-block)级别决定处理范围,官方称这能显著压低长上下文延迟——在智能体(agent)类负载日益主导实际使用的背景下,这一指标比峰值算力更贴近真实成本。其二是门控残差:通过数据相关的逐元素读门与按分支的标量写门,调节加宽残差流中的信息传递,在保持训练稳定性的同时提升跨层表达力,且推理开销较低。其三是n-gram嵌入:以短n-gram为索引扩展参数,官方认为这条扩参路径比混合专家(MoE)更省算力、更易卸载到内存受限的加速器上。
训练配方同样做了调整。团队将Muon与AdamW优化器分别用于不同类别的权重,并依据重新拟合的缩放定律取消传统批大小预热、直接从目标批大小起步,从而减少优化器步数,同时以更大的学习率维持收敛。模型共48层,隐藏维度2560,隐藏层布局为12组「3×(门控DeltaNet→MoE)→1×(QSA→MoE)」;MoE部分含512个专家、每次激活10个路由专家加1个共享专家。
官方同时划清了实验权重与生产版本的界限:开源仓库提供的是Transformers格式的权重与配置,兼容vLLM、SGLang、TokenSpeed等推理栈;面向托管、可扩展推理的用户应使用Qwen Cloud上的官方API,其中Qwen3.8-Flash是基于该架构、默认100万上下文并内置官方工具的生产版本。
从公开的对比表看,Qwen3.8-Flash-Next在智能体编程DeepSWE 1.1上得分58.7,SWE-bench Pro为62.5,多语言软件工程SWE-bench Multilingual为81.0,仓库级代码生成NL2Repo-Bench为48.1,长周期办公任务CoWorkBench为73.9,专业岗位任务JobBench为55.7;对照对象包括Qwen3.8-27B、Qwen3.7-Plus、DeepSeek-V4-Flash-0731与Claude-Opus-4.6(Max)。这些数字来自官方自测,横向可比性仍需第三方复现。
对产业而言,这条发布传递的信号是:在参数规模与上下文长度继续膨胀之后,头部团队正把竞争焦点转向「单位token的推理效率」。QSA的块级稀疏、n-gram嵌入的卸载友好设计,都指向同一目标——让长上下文与智能体负载在现有硬件上更便宜地跑起来。若该架构在Qwen4上得到验证,推理侧的算力需求结构、开源模型的部署门槛,以及云厂商的API定价逻辑都可能随之调整;但作为实验预览,其权重成熟度与生产可用性仍有距离,实际影响取决于后续正式版本的表现。