中国AI产业在芯片层与模型层均已取得长足进步,但两者之间的推理引擎环节长期依赖海外框架,成为制约国产算力高效产出的隐性瓶颈。在今年的世界人工智能大会(WAIC)上,清程极智联合创始人师天麾博士与唐适之博士对外完整展示了其国产Token“前店后厂”一体化产品体系,试图为这一断层架设桥梁。
该体系的核心是清程极智自研的赤兔Chitu生产级推理引擎。与直接适配海外开源方案不同,赤兔引擎从第一行代码起就针对国产芯片的硬件特性进行原生深度优化。其联合创始人唐适之指出,当前绝大多数国产加速芯片在硬件层面并不具备FP4、FP8低位宽浮点原生计算单元,而DeepSeek等新一代主流大模型恰恰原生采用FP4精度训练。传统应对方案要么强制转换为BF16高位宽格式导致显存占用翻倍,要么降级为INT8整数量化造成模型精度永久损失。
赤兔引擎通过两套自研技术体系实现破局。一是自研软件浮点模拟计算架构,在无需依赖专用硬件单元的情况下,通过底层算子与编译层协同优化,在国产芯片内部完整复现低位宽浮点计算逻辑,既规避了显存开销,又完整保留了模型原生精度。二是基于国产芯片架构定制的混合量化方案,针对权重加载、KV Cache缓存调度及多卡分布式并行进行全链路优化,兼顾显存占用、推理吞吐与输出精度。
这套技术路径带来的效率提升直接体现在成本端。传统通用开源推理框架部署DeepSeek满血版至少需要4台国产8卡服务器,而搭载赤兔引擎后仅需单台即可完整跑通,硬件综合成本直降75%。同时,该方案还能盘活企业存量算力——大量仅支持BF16、INT8的旧款国产加速卡,接入赤兔后无需更换硬件即可原生兼容FP4大模型,避免了硬件淘汰重置的大额支出。
在Token生产环节之外,清程极智还构建了负责流通调度的“前店”——AI Ping一站式Token调度与服务平台。当前Token服务质量参差不齐,师天麾在采访中描述,3至5秒该返回的请求有时会飙升至上百秒。AI Ping通过统一接口接入30余家主流服务商、600余个大模型服务,进行7×24小时实时监测,基于每一次调用的实测数据自动将请求路由至当前服务质量最优的供应商。据官方数据,企业接入AI Ping后,API调用综合成本降低超过37%,吞吐提升超过90%,延迟降低超过20%,服务调用成功率可提升至99.99%以上。师天麾将这一模式形容为“飞轮效应”:评测越准,路由越好;路由越好,客户用量越大;用量越大,调用数据越多;数据越多,评测更准——形成难以复制的数据壁垒。
在终端落地层面,清程极智的八卦炉系列产品线提供了Agent搭建、本地化私有化部署及算力中心开箱即用等能力,覆盖从算力硬件厂商、AI服务商到政企高校等不同客户的分层需求。整套“前店后厂”体系的价值链已清晰贯通:后厂以赤兔引擎生产Token,前店以AI Ping智能调度分发,终端以八卦炉系列完成交付,一站式解决企业在国产化落地过程中面临的成本、适配与调度三大难题。
从去年WAIC展示推理引擎降低硬件门槛,到今年完整发布Token全链路体系,清程极智试图用实践向产业证明,“国产芯片+国产推理框架+国产大模型”的组合不仅可行,而且成本更低、效率更高。当Token的生产、调度与交付实现全链路国产化,中国AI产业的底座才算真正扎稳。