Runway 已将其机器人控制模型 Praxis-1 的模型权重与源代码以 Apache 2.0 协议开放,允许商业使用。该模型最早于 9 月下旬亮相,当时仅向部分合作伙伴开放;此次正式发布同时附上一份包含新性能测试的研究报告。开发者可在 Hugging Face 注册并同意访问条款后下载,代码托管于 GitHub,针对不同机器人的预适配版本也已一并提供。

Praxis-1 的输入包括摄像头图像、文本指令以及机器人自身的位置信息。模型据此预测环境将如何变化,再反推出对应的机器人动作;随着新画面不断输入,控制指令持续调整。Runway 将其称为 World Action Model(世界动作模型),核心思路是先把视频模型从普通影像中学到的物体运动与交互规律,迁移到机器人控制上,再用人类动作视频和机器人数据做微调。这一路线若走通,有望降低对昂贵机器人专用数据集的依赖——这类数据传统上专为训练此类系统而采集。

Runway 以生成式视频模型 Gen-4.5 为人熟知,Praxis-1 是其视频研究向机器人领域的延伸。自 9 月以来,机器人公司 Standard Bots、Noble Machines 和 Ultra 已在不同系统上测试该模型,覆盖人形机器人、工业机械臂和双臂仓储机器人。

不过,专用机器人数据仍不可少。据研究报告,为适配 Franka 机械臂,Runway 使用了公开研究数据集 DROID 中约 277 小时的录制数据,内容为机器人抓取和移动物体;针对双臂机器人,训练素材在 1,400 至 2,600 小时之间。Runway 在更早的训练阶段也已用过 DROID 及其他机器人系统的数据。因此,这一方法整体上是否真比没有通用视频预训练的同类模型更省机器人数据,目前仍是开放问题。

在英伟达 RoboLab-120 榜单上,Praxis-1 取得 46.2% 的成功率。该基准在仿真环境中用 120 项任务检验机器人模型分拣、抓取、堆叠物体的可靠性。同样属于 World Action Model 的 FLUX 3 Action 在相同条件下为 42.9%,使 Praxis-1 位居该类别第一;但在总榜上它排第五,落后于两个 AI 智能体和两个架构不同的机器人模型。需要说明的是,所有测试均由 Runway 自行完成,结果尚未经独立验证。

在 DROID 数据微调后,Runway 用真实的 Franka 机械臂做了测试:两个模型完成同样的十项任务(如把香蕉放到盘子上、关上抽屉),每项尝试十次,Praxis-1 成功 88 次,FLUX 3 Action 为 80 次。Runway 还测试了模型向未见过的机器人类型迁移的能力,使用的是谷歌曾用于开发 RT-1 的带夹爪移动机器人平台数据,这些录制并未参与 Praxis-1 此前的训练。在约 95 小时机器人数据上微调后,模型在仿真测试中平均成功率达 80%,覆盖抓取易拉罐、开关抽屉、把苹果放进抽屉等四类任务;谷歌原版 RT-1 在同一基准上的成绩为 52.4%。

局限同样明显。据 Runway 研究报告,模型有时会混淆外观相似的物体,对模糊指令处理不佳;面对较长任务,必须把每个步骤逐一说明,因为 Praxis-1 尚不能可靠地自主规划复杂动作序列。Runway 将其定位为快速执行机器人动作的系统,未来可与把复杂任务拆解为单步的通用 AI 模型配合使用。

硬件门槛方面,标准版模型需要 80 GB 显存的 GPU;按 Runway 的显存估算,压缩版可放进 32 GB 显存的 RTX 5090,但 GitHub 文档称实际峰值显存占用尚未实测。

从产业视角看,Praxis-1 的意义在于把「视频预训练 + 少量机器人数据微调」做成可下载、可商用的开放件,这会降低机器人公司自研控制模型的门槛,也可能改变视频模型公司与机器人厂商之间的分工。但自测成绩与独立验证之间的差距、以及专用数据节省幅度尚未证实,都是评估这条路线时需要保留的变量。