英伟达开源了一款名为 Flora 的数据引擎,声称能将机器人视频的标注成本从使用 GPT-6 Astra 时的每小时约 88.5 美元降至约 0.72 美元,降幅约 125 倍。不过,这一对比并非完全对等——成本数字是英伟达基于每小时每 GPU 10 美元的租用价格推算出的预估值,而非生产环境实测。
机器人训练需要三类文本标注:描述视频中何时发生何种动作、评估机器人逐步执行的质量,以及判断任务是否成功。现有工具大多只覆盖其中一类,而大型语言模型虽能生成多种标注,却因成本过高难以处理海量视频。Flora 的设计目标正是用一套系统同时完成这三类工作。
Flora 由三个微调后的 Qwen3.5 模型构成:一个 9B 模型负责将视频切分为动作片段,一个 27B 模型结合前后文描述动作,另一个名为 Flora-Rewarder 的 27B 模型则根据提示词承担三种评分角色——按 1 到 5 分评估整段任务的成功度、将每半秒步骤分类为正常/次优/失败,以及依据自定义评分标准打分。英伟达表示,该系统已在其 GR00T 模型训练中运行,借助 512 块 GB300 GPU,每天可标注多达 20 万小时视频,相关模型已在 Hugging Face 上发布。
在 50 个视频的测试中,英伟达称 Flora 的标注质量评分为 57.1%,略高于 GPT-6 Astra 的 53.7%,且后者被允许使用全部推理能力。同一测试中,Claude Opus 5 得分明显更低,成本却仍约为每小时 42 美元。
Flora 的优势主要体现在动作边界识别和错误捕捉上。在公开基准 WGO-Bench 上,Flora 检测动作边界的能力最强,但总分落后于 Astra,纯描述准确率也不及 Gemini 3.8 Flash。在英伟达自建的 DenseCaptionBench 上,Flora 在人类录制视频的所有指标中领先,但在机器人视频上排名第二,落后于 Astra。研究团队也承认存在方法学问题:GPT-6 Astra 在评估描述时,本身也是被测试的模型之一。
在 RoboRewardBench 上,Flora 的错误率比 Astra 低 27.8%。论文将差距归因于部分完成任务的情形:当机器人只是将瓶子推倒而非推下桌子时,Flora 给出 5 分中的 3 分,与人类参考一致,而 Astra 只给 1 分。Flora-Rewarder 能捕捉到一段视频内 53.3% 的失败步骤,竞争对手均不超过 11.7%,Astra 则一个都没抓到。代价是 Flora 会将约 11% 的正常步骤误标为错误。Astra 仍在基于评分标准的打分和轨迹排序上领先。
具体案例中,一段包含许多短促手部动作的视频里,Flora 识别出 37 个参考动作中的 34 个,Astra 仅识别出 4 个。但 Flora 有时会把较长动作拆得过细,偶尔描述出错——例如将机械手用布擦盘子的动作描述成叠餐巾。
英伟达将 Flora 定位为 Scale AI 的 Physical AI Data Engine 等商业服务的开源替代品,研究者可用其扩展自有机器人数据集。这与英伟达更广泛的策略一致:通过投资开源 AI 模型将开发者留在其硬件生态内,并拉动芯片需求。此前英伟达已通过仿真和自动化数据处理来缓解机器人训练数据短缺,Flora 为这条流水线补充了详细的标签与奖励信号。谷歌近期公布的 Gemini 4 Argon 也瞄准机器人训练流程中的类似环节,同样能识别训练视频中的工作步骤并标记失败动作。