英伟达于 2026 年 8 月 19 日发布 Cosmos 3 Edge,这是一款专为机器人端侧控制设计的 4B 参数 omni 模型,包含一个 2B 参数的 Nemotron 推理器。该模型属于 Cosmos 3 系列,与 Cosmos 3 Nano 和 Cosmos 3 Super 使用相同的物理世界数据预训练,因此具备对物体运动和交互的基础理解。其关键优势在于模型足够小,可直接在英伟达 Jetson Thor 上运行,无需依赖数据中心 GPU。
后训练是使模型适应机器人操作任务的关键步骤。英伟达提供了完整的教程,指导开发者将 Cosmos 3 Edge 后训练为操作策略,并在 Jetson Thor 上部署。训练数据来自 nvidia/Cosmos3-DROID 数据集,包含 7.6 万条成功遥操作轨迹,约 350 小时,覆盖 86 个任务和 564 个场景,使用 Franka Panda 机械臂和 Robotiq 夹爪采集。数据以 LeRobotDataset v3.0 格式提供,分辨率为 640×360。训练前需过滤空闲帧、选择成功演示,并进行随机裁剪、缩放和颜色抖动增强。
后训练过程需要强大的计算资源。英伟达验证的配置使用 64 个节点,每个节点配备 4 块 GB200,共 60K 次迭代,耗时约 68 小时,总计约 1.74 万 GB200 小时。这属于基础模型后训练,而非单 GPU 微调,开发者需提前规划算力。训练超参数包括:动作空间为 8 维绝对关节位置(7 关节 + 夹爪),观测为三摄像头画布(腕部 360×640,两个外部视图 180×320),动作块为 15 Hz 下 32 个未来动作,学习率 2e-4,全局批大小 8192。
在 Jetson AGX Thor T5000 上,后训练的策略模型能够实时运行。推理时,模型生成一个动作块约需 1.53 秒(640×540 分辨率、15 Hz),而一个动作块覆盖约 2.13 秒的机器人运动。由于下一个动作块在当前块完成前已准备好,机械臂可连续运动,无需数据中心 GPU 介入。在闭环 RoboLab 任务中,该策略达到 22.9% 的成功率。这证明 4B 世界模型可以作为实用的实时端侧策略骨干。
英伟达强调,Cosmos 3 Edge 支持多种机器人本体,包括双臂 Franka、UR、WidowX 250 和 LeRobot SO101。开发者可将自有数据转换为 LeRobot Dataset v3 格式,并针对不同本体配置动作空间、相机布局和归一化设置。教程中的所有步骤均可从开源 cosmos-framework 仓库复现,发布的检查点已在 HuggingFace 上提供。
这一发布对机器人领域具有重要意义。世界模型此前因体积庞大难以在设备端部署,而 Cosmos 3 Edge 通过后训练实现了端侧实时推理,降低了机器人对数据中心算力的依赖,可能推动具身智能在边缘场景的广泛应用。对于 AI 产业投资者而言,这标志着英伟达在边缘 AI 和机器人领域的布局进一步深化,有望带动相关硬件和软件生态的发展。