清华大学计算机系教授、智谱创始人唐杰分享了一个内部观察到的递归自我改进(RSI)早期案例:由GLM-5.3驱动的Infra Agent,在超过10万张国产芯片组成的集群上,从零参与搭建并优化了一套生产级推理系统,GLM-5.3-Flash的全部线上推理都运行在这套系统之上。
所谓RSI,指系统能够自主设计并训练出自己的继任者。唐杰团队把这次实践视为RSI第一次有了工程化、甚至已进入生产环境的雏形,而不只是“未来某一天AI会自己变强”的抽象讨论。
从让模型在新硬件上跑起来,到构建一套能稳定承载生产流量的高性能推理服务,本身是庞大的系统工程。此前没有人成功部署过如此大规模的国产卡集群,团队面对的是芯片内存容量与带宽相对受限、生态不成熟、算子不完备、许多文档基本靠猜的局面,同时还要支持新结构模型的1M上下文窗口和多模态请求。最终完成这件事的不是一支团队,而是GLM-5.3驱动的Infra Agent。
在优化过程中,Agent已能自己读取系统反馈、提出假设、修改代码、跑实验,再根据结果继续迭代。两个具体案例被披露:其一,它定位出KV Transfer场景中Python GIL导致的并发阻塞,把Prefill+KV Transfer相比单独Prefill超过20%的性能损失压到了1%以内;其二,在KDA Decode算子上,它通过重新组织计算拿到了1.71倍的性能提升。
团队实施了一系列激进的内存优化,包括以算力换带宽、以通信换显存等定制方案,涉及线性注意力与LM Head的节点内张量并行、ReplaySSM、W8A8量化、INT8/FP8/BF16混合精度缓存量化以及Layer Split等。在此基础上引入Encode–Prefill–Decode(EPD分离式架构),实现端到端服务性能约3倍提升,硬件利用效率与单Token成本均达到主流NVIDIA GPU的相当水平。由于Infra Agent参与的反馈闭环贯穿整个优化过程,GLM-5.3-Flash在不到两周时间内完成了从模型适配到生产可用的跨越。
唐杰团队强调,决定Infra Agent工程效果的,不只是模型自身的代码生成与推理能力,更取决于系统能否持续提供有效、可归因的反馈。代码库只能提供静态上下文,而推理系统中的精度异常、性能退化往往来自算子实现、并行策略、通信行为、内存管理与服务调度的动态交互。如果一次修改后得到的反馈只是“精度测试未通过”或“吞吐下降20%”,Agent仍难以判断问题出在哪一层。因此他们把正确性测试、运行日志、执行Trace、运行时事件、微基准测试和端到端指标纳入Agent迭代流程,把系统优化拆分为可局部观测和验证的环节,形成由工程师、Infra Agent和实验环境共同组成的优化闭环:工程师定义目标与系统边界,Agent负责分析、假设和修改,实验环境提供分层、及时且可验证的反馈。
这一路径也带来更广的产业含义。对关注AI基础设施的投资者而言,它指向两个方向:一是国产芯片集群在大规模推理场景下的工程可行性正在被验证,硬件利用效率与单Token成本被拿来与主流NVIDIA GPU对标;二是模型开始参与优化承载自身推理的系统,每一次上线积累的经验会降低下一次优化所需的工程师投入,这可能改变基础设施团队的人力结构与迭代节奏。
唐杰还提到GLM研发过程中的另一面:模型时常涌现出令团队惊喜甚至不安的能力,安全能力是代码能力的自然延伸,不到一年,安全伙伴使用GLM在真实代码库中发现了数千个漏洞。他坦言,在GLM-4.7之前,内部用GLM写代码多少带着被迫的成分,那时Coding的PMF还未到来;今天GLM-5.3已成为团队每天离不开的Coding伙伴。GLM-5.3-Flash还以匿名模型Ox-Alpha在OpenCode与OpenRouter上接受真实调用检验。
团队表示,他们看到模型完成了一项过去需要一支资深Infra团队数周才能完成的基础设施工作,并意识到这项工作将直接改变下一代模型的训练方式。