京东广告与华为鲲鹏合作，通过超节点架构将生成式推荐场景的端到端推理时延降低15%，并在618大促期间以核心业务5%的流量完成验证。这一结果在华为全联接大会2026鲲鹏计算产业峰会上披露，背后是电商广告在生成式范式下算力需求激增与毫秒级时延红线之间的尖锐矛盾。

京东给全链路时延的预算是300毫秒，留给广告模型推理的部分只有20到100毫秒。京东零售广告产研部算法应用相关负责人解释，人对APP滑动和点击的反应有判断，超过600多毫秒就会明显感到卡顿，扣掉基站通信之后，真正留在数据中心、留给模型推理的空间很小。与此同时，京东广告的日请求量达千亿级，单次推理必须控制在几十毫秒内完成，否则收益归零。

过去一两年，京东广告从深度学习迁移到生成式推荐，行为上下文增长10倍、模型结构放大100倍，算力需求随之提高约1000倍。但机房扩容周期按季度计，算法却每周更新，新论文从开源到上线最短只要两周。该负责人指出，真正的制约并非GPU或NPU本身，而是数据预处理、数据检索与业务逻辑嵌入这些大量跑在通算上的环节，CPU资源远远不够。

时延压力主要来自两处。一是KV Cache：行为序列超过1K后，缓存容量需求急剧放大，传统片上内存、本地DDR、本地SSD、远端Redis四级缓存存在容量小、并发弱、时延高、额外投资的矛盾。二是RPC通信：每次用户请求最少要建立几十个RPC服务调用，通信耗时占整体时延20%以上，百万级RPC导致每节点TB级内存消耗。

京东广告与鲲鹏团队自去年5月鲲鹏开发者峰会前后确认合作，方向是把四级缓存压缩为两级，只保留片上内存和一块足够大的DDR。华为架构师给出的方案是通过灵衢协议把几十台、几百台甚至更多机器连成一个大内存池，访问池子的内存与访问本地没有区别。合作具体落在三个层面。

第一是创新组网。基于灵衢互联实现4K节点ScaleUp组网，单超节点支持150万+vCPU，每节点3.2Tb互联带宽，具备大规模、大带宽、不收敛、高可用四大特性。跨层带宽不收敛、扩容时带宽不下降，才能扛住广告模型和数据的持续膨胀。

第二是KV Cache两级缓存。通过灵衢协议形成300TB共享内存池，缓存间时延下降3个量级，带宽达TCP的16倍；8MB并发请求TP99时延下降85%以上，最高92.6%，64MB序列长度TP99降至1/16。该负责人表示，以往容量跟时延是二选一的题，现在可以都要，这意味着可以继续扩大用户行为序列作为推理输入，提高推荐精度。

第三是RPC通信改造。跳过传统网络协议栈，UB统一协议直连URMA，时延开销降低38%；RPC通道复用使通信用内存降低100倍；多路径聚合Tb级带宽替代百Gb单一通路，通信稳定性提升40%，1MB数据包时延下降84%，P99整体优化40%以上。

落地过程并非一帆风顺。机房空间不足，华为以液冷服务器提高摆放密度；灵衢的扩展性与外联泛化需要稳定性；业务强依赖巨大内存池后，核心链路断网或抖动的影响范围被放大。华为今年发布多款NPO硬件解决光传输链路问题，操作系统调度同步升级，灵衢协议持续打磨，新增能力落在协议层、交换链路、操作系统以及CPU/NPU侧芯片上。

618大促成为验证场。方案需满足三个条件：系统不能崩、在稳定情况下服务更多客户、延迟不因压力大而飙升导致降级或熔断。最终广告推理端到端时延降低15%，局部KV Cache命中率相关的重复计算降低百分之八九十，核心业务场景5%的流量已在鲲鹏集群上运行。

该负责人将这笔账概括为“时延就是收益”：省下的时延预算可以用来跑更大的模型，更大模型带来更好效果，进而带来更多广告收入。目前并非全量搜广推业务都在鲲鹏上，策略是核心业务优先上新型集群，京东广告正稳步推进双十一，将更大规模业务搬上鲲鹏。

合作还在向广告之外外溢。该负责人表示，同样的解法对搜推这类不需要考虑广告主的业务同样适用，其他友商也在跟进，这套方案可作范例。双方还在探索共享SuperCache、Agent高密沙箱、多模态融合检索等方向。

面向Agentic AI，华为在峰会上给出趋势判断：智能体将大量依靠CPU完成调度编排、记忆处理、沙箱运行，CPU与NPU配比将从过去的1:4走向1:1。京东从业务复杂度出发认为1:1不够，看到的可能是4:1，原因是前端要处理的数据越来越多，同时单卡性能本身也在上涨。该负责人强调，超节点可能是一个硬件概念，但事实上远不止硬件，操作系统、调度、中间件都会跟着目标改变硬件形态。