在美国商务部工业与安全局(BIS)最新出口管制政策于11月16日正式落地、限制范围从芯片实物延伸至远程算力访问的背景下,国产算力供给侧正面临更紧迫的工程命题:如何在现有国产新卡与海量存量集群上,把每一张卡转化为更高、更稳、算得平经济账的“有效Token产能”。11月17日,北京智源人工智能研究院与清昴智能在“国芯国模 自主生态”2026清昴AI伙伴大会暨Token工厂年会上联合发布“国产Token工厂端到端推理优化方案”,基于开源多芯片统一AI系统软件栈众智FlagOS,正式上线基于国产芯片的商用Token工厂。

智源研究院院长林咏华在开场演讲中指出,大模型上半场已证明能打造世界级模型,下半场的关键是把模型能力变成高质量、低成本、稳定供给的有价值的Token能力。她提出当前两个现实矛盾:一是模型迭代与硬件基建之间的“周期剪刀差”——主流大模型几乎以月甚至以周为单位更新架构,而底层算力基础设施往往两到三年才更新换代,软件层跟不上会让昂贵硬件刚部署就面临跑不动新模型的尴尬;二是算力成本与供应链安全,她以工业时代的“电价”作比,中国制造业竞争力部分源于低电价,而电力供应底气来自本土能源结构,推演到智能时代,行业期盼亲民的百万Token单价,供应链安全的底气则取决于底层算力供给能否扎根国内。

清昴智能创始人兼CEO关超宇则指出,硬件侧按卡、按规模采购,应用侧要的却是按秒交付的Token,两者之间亟需高效“翻译器”,将闲置、异构、难用的国产算力组织成可计量、高可靠的标准化产能。林咏华认为,无论CPU时代还是AI芯片时代,都不可能由一款芯片包揽天下,国内不缺优秀芯片厂商,真正稀缺的是能让所有硬件共享的软硬件协同生态。

这一判断对应着FlagOS的长期投入。智源过去四年联合高校与芯片厂商推进开源FlagOS,用一套开放、统一、可复用的系统软件栈,让同一套算子与编译系统在不同硬件上共享优化经验。截至目前,FlagOS生态已汇聚21家芯片企业与86家生态伙伴,覆盖35款AI芯片。其底层由通用算子库FlagGems、训推并行框架FlagScale、统一编译器FlagTree与统一通信库FlagCX构成,9大算子库累计沉淀超过1,454个开源Triton算子,其中近八百个算子在至少5款国产芯片上达到原生算子80%以上的性能。在框架层面,智源坚持不fork上游代码库,通过插件化机制零侵入接入vLLM、SGLang、Megatron-LM等主流社区生态,实现单个代码仓库覆盖20家厂商后端,并在过去半年多次完成新模型发布当天(Day0)同步跑通多达12款芯片的验证。

在具体优化层面,此次联合发布的方案将优化推进到华为昇腾910C集群的微秒级内核,主攻智谱GLM-5.3与GLM-5.3-Flash模型。智源团队介绍,大模型推理在计算密集的Prefill阶段和访存密集的Decode阶段瓶颈截然不同。在Prefill阶段,针对GLM-5.3-Flash的混合注意力架构,团队重构大小块计算路径,协调芯片内部向量与矩阵计算单元并行分工,省去中间结果频繁片外搬运;在81,920输入长度、16并发的测试中,波次吞吐提升3.41%,在256K超长输入下,TTFT p50下降4.94%。在Decode阶段,团队对碎片化算子进行深度融合,通过LI量化写回技术将动态量化、尺度转换与HBM缓存写回合并进同一内核;在910C微基准测试中,原生链路耗时从18.03微秒压缩至2.04微秒,接近9倍提速;叠加针对小批量输入的向量路径定制,端到端商业场景实测中Decode阶段ITL整体下降超过10%,TPOT降低8%以上。这种不依赖堆叠硬件、纯靠底层内核重构释放的性能红利,正帮助清昴智能的Token工厂在同等算力规模下承接更高并发商业流量。

相比新卡上的性能冲刺,存量资产盘活是另一现实难题。市场上已部署大量昇腾910B服务器,但面对支持百万(1M)上下文的新一代模型,老卡常面临显存与算力双重告急。智源团队在内部BAAI Token Hub上,基于FlagOS全栈将48张存量910B组织为“Prefill与Decode分离”的推理集群,稳定跑通支持1M上下文的GLM-5.3-Flash服务:32张卡组成4个Prefill域消化长序列输入,另外16张卡组成8个Decode域保障多并发流式输出。该服务已连续稳定运行两周,线上TTFT P50保持在2.3秒左右,TPOT P50稳定在22毫秒。团队还在框架插件侧打通跨Prefill域的Prefix Cache复用,将缓存拆分为本地显存、私有主机内存与共享主机内存三级存储,并结合分段SDMA优化,把零散内存页合并为连续传输段以拉高PCIe带宽利用率。实测显示,前缀命中率从82.65%推升至94.15%,复用阶段首字时延中位数从16.63秒下降至3.10秒,降幅达81.4%。这意味着企业与科研院所手中大批存量910B集群无需推倒重建,通过软件栈升级即可具备承接长上下文商业服务的能力。林咏华还透露,基于FlagOS统一技术栈,智源仅用两周便完成对华为910B-T芯片关键大模型算子的适配与性能优化。

多芯横向实测进一步印证了统一软件栈的跨硬件价值。在平头哥810E上,FlagOS 2.2帮助DeepSeek-V4.1-Flash推理性能提升77%至82%,实现16路并发可用、最高支持80并发,每请求解码速度达到136.2 tok/s;在海光BW1100上,GLM-5.3-Flash推理性能提升25%以上,多并发下单路吞吐突破80 TPS。

从产业含义看,这套方案的核心思路并非等待硬件换代,而是用软件层把异构、存量的国产算力组织成标准化产能。在海外算力通道收窄、国产推理芯片制造与封装环节同样面临更严审查的背景下,硬件供给短期内难以大幅宽松,软件栈对存量资产的盘活能力因此成为影响国产Token工厂经济性的关键变量。林咏华在演讲最后承诺,无论手中是运行多年的存量集群、正在部署的新一代芯片,还是未来即将问世的新架构硬件,都不用担心上面运行不了最新模型。在算力竞争转向比拼“有效Token”的当下,一个开放、可复用的系统软件底座,正在成为国产算力打破周期束缚的重要支点。