苹果于 11 月 18 日开源了面向实时交互的视频生成模型 FastFrames 系列,包括 13 亿参数的 FastFrames-S 和 140 亿参数的 FastFrames-L,两款模型均主打低延迟 480P 视频生成,目标用户是视频生成研究人员和交互应用开发者。
根据苹果公布的测试数据,FastFrames-S 在单张英伟达 B200 GPU 上的生成延迟为 36 毫秒,在保持与基础模型 Causal Forcing++ 相近生成质量的同时,速度达到后者的约 7.6 倍。FastFrames-L 与同样基于通义万相 Wan2.1-14B 开发的实时视频模型 Krea-Realtime 生成效果相当,单卡速度约为后者的 10.6 倍;使用 8 张 B200 后,延迟进一步降至 45 毫秒。
为了验证这套加速方法能否推广到其他模型,苹果还选择了两款外部模型进行优化。蚂蚁灵波团队的 LingBot 1.3B 经优化后,响应速度约为原版的 16 倍;斯坦福大学等团队的 RealWonder 经优化后,响应速度约为原版的 22 倍。具体来看,LingBot 1.3B 的生成延迟从原版最快官方配置的 842 毫秒降至 52 毫秒,两项配置分别使用 2 张和 8 张 B200 GPU;RealWonder 的生成延迟则从原版单张 B200 上的 1141 毫秒降至加速版 8 张 B200 上的 51 毫秒。
两款 FastFrames 模型的提速路径有所不同。S 版冻结了 Causal Forcing++ 基础生成器的权重,另行训练负责画面输出和历史信息处理的两个网络;L 版则对阿里通义万相 Wan2.1-14B 进行蒸馏,使其能用更少步骤连续生成后续画面,再训练上述配套网络。
在生成效果上,苹果公开了 22 组文生视频对比案例。整体来看,两款模型生成的画面都有较细腻的质感和丰富的光影,但 S 版在部分案例中存在文字乱码、提示词理解偏差和画面不够稳定的情况。例如在女孩拉小提琴的案例中,S 版的琴弓明显偏离琴弦,女孩面部也随琴弓移动出现变形;L 版在人物面部和演奏动作上则更稳定。在沙滩写字案例中,S 版生成的“STAY CURIOUS”字样出现乱码,L 版文字准确清晰,光照和构图也更精致。
苹果将延迟优化归纳为三项主要手段。第一项针对最耗时的画面解码:原有 VAE 解码器需要反复放大内部特征,苹果设计出轻量像素解码器,在低分辨率下完成主要计算,最后一次性输出完整画面。以 S 版为例,解码耗时从 147 毫秒降至约 1 毫秒。第二项针对缓存更新:原流程每生成一组画面都要额外运行一次完整生成网络来整理缓存,苹果改为复用最后一步去噪已算出的缓存,再用小网络修正。S 版缓存更新耗时从 41.6 毫秒降至约 2 毫秒,L 版降至约 6 毫秒。第三项是让 GPU 承担更多并行计算,苹果将历史缓存分段同时计算再合并,在 L 版上将缓存分成 5 段,使单次生成网络计算的延迟降低约 13%。经过这些调整,S 版单次去噪网络计算耗时从 41.6 毫秒降至 16.4 毫秒,L 版从 89.2 毫秒降至 75.6 毫秒;在 8 卡配置下,两者进一步降至 5.8 毫秒和 20.3 毫秒。
训练方面,S 版解码器训练时保持基础生成器权重不变,让原生成器和 VAE 解码器生成示范,新解码器学习输出相同画面,该阶段使用 32 张 B200、耗时约一周;随后加入 1 万条真实视频进行对抗训练,使用 8 张 B200、耗时数小时。L 版则先用 Wan2.1 通过 48 步采样生成示范,使用 256 张 B200 训练教师模型,再经过一致性蒸馏和分布匹配蒸馏得到两步生成器,后续解码器和缓存修正网络的训练分别使用 64 张和 8 张 B200。
从评测结果看,在评估画面质量及内容是否符合提示词的 VBench 测试中,S 版总分为 84.23,基础模型为 84.11;L 版与 Krea-Realtime 的总分分别为 84.44 和 84.42,生成视频质量接近。
目前,开发者可从 Hugging Face 下载 FastFrames 模型权重,配合 GitHub 代码在搭载英伟达 GPU 的 Linux 设备上运行文生视频任务。苹果同时公开了训练和评测工具,供开发者继续训练和复现实验。模型权重免费提供,许可限定为非商业科研用途。
实时交互视频模型通常面临三重挑战:用户操作后画面能否及时更新、连续改变指令时能否保持人物和场景一致、长时间运行并服务多名用户时算力成本能否支撑。苹果此次重点解决的是第一重——缩短画面生成的等待时间。FastFrames 通过改造画面解码、缓存更新和 GPU 计算,让已有视频模型更快输出画面,并在 LingBot 和 RealWonder 上验证了加速效果。对交互应用开发者而言,这套方法提供了可复用的加速方案;对用户而言,更及时的画面反馈有助于连续调整镜头、动作和场景,减少等待与反复重做。