2026年10月16日，vLLM官方博客发布了一篇技术复盘，署名作者是英伟达CentML的工程师Benjamin Chislett。他用一段1.2万行的CuTe DSL代码编写Megakernel，将月之暗面2.8万亿参数的Kimi K3推理速度大幅提升。据SemiAnalysis测算，在相同的GB300 NVL72硬件上，K3达到423 tok/s/user的推理速度，性能提升1.68倍；vLLM博客原文报告的数据则是batch 1下超过840 tokens/s，多个测试配置下解码吞吐提升1.5—2倍。没有更换芯片，没有采用更先进制程，也没有等待下一代硬件。

Kimi K3的Stable LatentMoE架构拥有896个专家，每次推理激活16个。这种极端稀疏的MoE在训练端能以较少激活参数撬动更大容量，但在推理端却是工程难题。据SemiAnalysis分析，K3一次前向计算的HBM带宽需求约1.5TB，每次前向触发超过120次All-to-All通信。解码阶段是典型的内存带宽受限场景，计算单元大部分时间在等待数据搬运。

传统推理引擎的解码过程由一连串独立内核完成，每个内核启动有开销，内核间数据交换要经过显存读写。Megakernel的核心思路是算子融合：把分散的解码内核合并成一个高度融合的超级内核，减少启动开销、合并内存访问，并让计算与通信尽可能重叠。这1.2万行代码的价值，在于把“通用硬件跑通用模型”的默认效率，替换成“专用硬件跑专用模型”的极致效率——硬件和模型都没变，变的是数据在硬件上的流动方式。

更值得关注的是写代码的过程本身。vLLM博客明确提到，团队使用了智能体辅助开发来构建统一的CuTe DSL解码路径，并指出编码智能体已能帮助完成模型优化中最困难的部分，包括编写复杂GPU内核、执行跨算子融合、重叠计算与通信，以及针对不同批次和GPU配置进行调优。这并非AI独立完成全部代码，人类工程师仍是项目主导者和架构设计者，但在最困难的部分，AI承担了相当大的工作量，以至于人类的逐行审查已经跟不上。博客中有一句话被多数中文报道忽略：智能体优化的推理代码，正在超过人类团队的审查和维护速度。

面对这一局面，vLLM团队发布了fast-track model optimization RFC，核心思路不是让人类审得更快，而是改变性能工作的组织方式。博客列出四条原则：隔离变更、限定范围、系统化验证正确性、扩大验证。人类审查者仍然判断设计和证据，但可以从高层抽象开始，而非逐行审代码。换言之，人类从“写代码的人”转变为“设计验证框架和风险边界的人”。博客还披露了一个细节：审计发现编译器把激活读取移到了同步等待之前，修复方案是将这种加载类型限制为静态权重；这类错误能通过简单功能测试，需要针对性调查才能发现。

这件事的分量需要放在更大背景下看。此前关于AI的讨论多聚焦于AI作为行为主体做出人类未预期之事，而这次AI成了优化的主体——它在帮人写代码，让另一个AI模型跑得更快。前者是人类要管住AI，后者是人类要跟上AI。当AI生成代码的速度超过人类审查代码的速度，“人类在回路中”的原则就面临一个具体挑战：回路上的人类还能不能看懂回路里的东西？

从技术经济角度看，解码优化比训练优化更难，因为训练是算力峰值受限，解码是内存带宽受限。K3的896个专家分布在多张芯片上，每处理一个token，路由系统要把数据分发到被选中的专家所在芯片再收回结果，超过120次All-to-All通信每一次都是延迟。因此在这个场景里，换更快的芯片不一定是最高效的解法，瓶颈不在算力峰值，而在数据流动效率。Megakernel的算子融合本质上是在减少数据在显存和计算单元之间来回搬运的次数。其产业含义是：当制程红利放缓、单卡峰值性能追赶以年为单位计算时，让已有硬件跑出更高有效算力正在成为回报率更高的路径。

SemiAnalysis创始人迪伦在红杉专访中曾判断，性能提升不能单靠硬件堆砌，模型架构、软件栈（编译器与通信库）与底层硬件的深度协同优化才是实现百倍效率飞跃的真正突破口。这一判断有助于理解英伟达这1.2万行代码的意义。在先进制程芯片获取受限的背景下，单卡性能差距短期难以抹平，但系统效率、编译器优化、算子融合、通信重叠等纯软件层面的工程能力不依赖晶圆厂，依赖工程师和工具链。英伟达用一个工程师、1.2万行代码和AI辅助开发，在不换硬件的前提下拿到了显著效率提升，提示算力竞赛的维度正在分裂：一条线是造出更强的芯片，另一条线是让现有芯片干更多的活。后一条线对追赶者门槛更低、空间更大。

还有一层微妙关系值得注意。英伟达优化的是月之暗面的Kimi K3，据IT之家报道，英伟达还在为vLLM开发DeepSeek V4.1等其他模型的优化。这意味着Kimi K3的优化不是一次性炫技，而是一套可复用的方法论正在向更多中国模型扩散。在芯片管制背景下，英伟达的软件团队正在为中国模型充分释放其自身硬件的性能。卖铲子的人也在帮你磨铲子，这既因为软件优化能拉动硬件销售，也因为英伟达需要证明自己在管制框架下仍是中国AI产业不可或缺的一环。竞争与合作在这个关系里同时存在。

回到“来不及审”这一核心。这件事真正的分量不在于英伟达优化了Kimi，不在于1.68倍，甚至不在于编译器栈成为新前线，而在于它提出了一个人类必须回答但目前还没有答案的问题：当AI开始优化AI，且优化速度超过人类理解速度时，人类还能不能守住最终判断权这条底线？vLLM团队的答案是改变组织方式——不逐行审，而是设计验证框架、限定变更范围、系统化测试。这个答案务实，但本质上是在说：我们接受“看不懂每一行代码”这个现实，然后用流程来兜底。这可能就是AI时代“人在回路中”的新形态：不是人看懂一切，而是人定义边界、设计验证、承担后果。技术可以加速，但判断不能外包；判断不一定看得懂代码，但必须看得住风险。vLLM博客标题里的“Responsibly”一词，在一个AI生成代码速度超过人类审查速度的时代，分量比1.68倍重得多。