清华大学与香港科技大学的研究团队近日提出 LiveEdit，一个面向通用文本指令的实时流式视频编辑框架。该方法以因果、分块的方式处理持续到来的视频，在 4 步/视频块的推理条件下实现 12.66 FPS 的流式编辑，同时保持被编辑区域的准确性以及未编辑区域的一致性。相关论文《LiveEdit: Towards Real-Time Diffusion-Based Streaming Video Editing》已被计算机视觉顶级会议 ECCV 2026 接收，训练、测试代码和模型均已开源。
流式视频编辑与常规视频生成任务存在本质差异：视频生成可以从高斯噪声中自由合成新内容，而编辑任务需要在改变目标区域的同时，尽可能保持原始视频中的人物结构、背景纹理、光照和运动轨迹。因此，直接复用面向生成的流式框架，往往会带来背景闪烁、结构漂移或编辑范围失控等问题。
研究团队指出，高质量视频扩散模型通常依赖对完整视频进行双向时空注意力处理，即模型需要等待未来帧到齐再联合处理整段视频。这种范式虽能获得较好的编辑结果，却难以满足低延迟、持续输入与即时输出的要求。进入流式场景后，模型只能查看当前与历史内容，如果直接截断未来帧，原本集中于邻近帧的注意力会被摊薄到更长的历史范围，破坏预训练阶段形成的局部时序先验，最终表现为对原始视频结构的“遗忘”，并在长时间编辑中出现闪烁或漂移。
此外，在多数编辑任务中，真正发生语义变化的区域只占画面的一部分，背景、结构和大量静态纹理在相邻视频块之间高度相似，但标准视频扩散模型仍会让所有空间 Token 反复通过 Self-Attention、Cross-Attention 和 FFN，对未编辑区域进行密集重计算，浪费算力并可能让本应保持不变的内容被反复“重画”。
LiveEdit 设计了渐进式的三阶段蒸馏流程。其基础模型建立在 Wan2.1-T2V-1.3B 之上，训练数据由从现有视频编辑数据集 Ditto-1M 筛选得到的两万组高质量数据对构成。第一阶段保留完整的双向 DiT 结构，让模型充分学习从原始视频、编辑指令到编辑结果的复杂映射，并在输入端将原始视频潜变量与噪声潜变量沿通道维度注入，以避免序列长度增长带来的计算开销。第二阶段引入块状因果注意力，每个视频块只能访问当前块和历史块，时间块大小设置为 3 个潜空间帧，通过教师强制让双向模型的局部结构先验逐步迁移到单向、分块的因果扩散模型中。第三阶段使用分布匹配蒸馏（Distribution Matching Distillation）压缩采样过程，生成器直接由第二阶段的因果扩散模型权重初始化，最终将推理步数从 100 次降至 4 次，同时移除需要额外前向计算的 Classifier-Free Guidance。
仅减少扩散步数仍不足以实现稳定高效的实时视频编辑，LiveEdit 进一步提出面向自回归的掩码缓存（AR-oriented Mask Cache）。该方法比较前一个视频块中原始视频潜变量与编辑结果的差异，按照一定阈值预测当前视频块中可能发生编辑的空间区域掩码，将 Token 划分为活跃编辑区域与未编辑区域：需要编辑的 Token 继续执行完整计算，未编辑 Token 则优先复用先前缓存的中间特征。阈值并非固定设置，而是根据当前 Token 的冗余程度动态调整，在论文采用的推理配置下，70% 的冗余空间 Token 被裁剪。
缓存位置同样经过专门设计。消融实验发现，Self-Attention 特征在相邻时刻之间具有较强的重复性，更适合进行跨时间复用；相比之下，FFN 保留了更多纹理和局部结构等高频空间信息，直接复用容易造成画面模糊甚至结构不稳定。因此，最终方案将缓存应用在 Self-Attention 层，而不是简单缓存整个 DiT 块。
在效率测试中，LiveEdit 处理 81 帧视频的总延迟为 7.89 秒，达到 12.66 FPS。为评估通用流式编辑能力，研究团队建立了包含 120 组样本的测试集，并从文本对齐度、背景一致性、运动平滑度、动态程度、美学质量和视频质量等六个维度进行比较。定性结果显示，LiveEdit 能够准确完成局部颜色、材质和属性替换，并减少向非编辑区域漂移的情况，缓存机制在保持背景一致性的同时没有削弱文本指令对齐和运动连续性。用户研究邀请 20 名志愿者对指令一致性、背景保留和整体质量三方面进行排序，LiveEdit 的 Top-3 偏好率分别达到 100.0%、87.5% 和 95.8%。
LiveEdit 的目标并不只是一个更高的 FPS 数字，而是为“流式视频编辑”设计实时化路径，为直播特效、视频会议、实时内容创作与交互提供更直接的技术基础。不过，当前方法仍依赖相邻视频块编辑区域较稳定的假设；当目标快速移动、编辑区域剧烈变化或出现大范围全局修改时，掩码估计与缓存复用策略仍有优化空间。如何在更长视频、更高分辨率和复杂交互指令下保持稳定，将是后续值得关注的问题。