Anthropic 的新模型 Fable 5.2 在 Scale Labs 与 AI 安全中心(CAIS)联合推出的 Remote Labor Index(RLI) 测试中,以 41.3% 的完成率登顶。该指数衡量的是 AI 代理能否以专业质量完成真实自由职业项目、达到付费客户可接受的水平。这一数字较一年前该基准发布时的最高分 2.5% 提升超过 16 倍,显示 AI 代理在实操任务上的追赶速度。
从时间线看,进步呈加速态势。今年 7 月,同系列的旧模型 Fable 5 还以约 16% 领跑,当时已被视为显著跃升——八个月内最佳代理的专业级完成率翻了两番多。四个月后,Fable 5.2 将这一数字推高至 41.3%,约为 Fable 5 七月成绩的 2.5 倍。其直接前代 Fable 5.1 仅略低于 18%,Fable 5.2 的完成量是其两倍以上。
当前榜单上,紧随其后的是 Anthropic 的 Opus 5.5(21.25%)和 OpenAI 的 GPT 6 Astra(20.83%),Fable 5.2 的成功率几乎是次优系统的两倍。谷歌在测试中最强的模型 Gemini Argon 4 以 17.08% 位列第五,而 GPT-5.2、Gemini 3 Pro 等较旧模型则低于 3%。
Scale Labs 在社交平台 X 上表示,Fable 5.2 进步最大的领域包括音频与音乐编辑、建筑与室内空间设计,以及 3D 模型创建。该代理还能处理此前顶级模型经常失败的长期复杂项目。在 Fable 5.2 的成功完成中,有近 50 个任务是测试中此前没有任何 AI 代理解决过的。不过,Scale Labs 也指出,该 AI 在工业产品设计和动画等任务上仍几乎无能为力。研究人员称,AI 代理失败时通常交付的是业余水准的作品、不完整的结果、损坏的文件或自相矛盾的设计。
与仅检查孤立技能的传统 AI 测试不同,RLI 的研究论文覆盖完整工作任务。数据集包含来自 Upwork 平台 358 名经过验证的专业人士的 240 个已完成项目,这些工作总价值约 14.4 万美元。单个项目平均费用为 632.60 美元,人类自由职业者平均耗时略低于 29 小时。任务范围从视频编辑、CAD 设计、游戏开发到数据分析。为完成这些工作,AI 代理可使用包含 Blender、GIMP、Audacity 等常见专业软件以及图像、音频、视频生成专用 AI 工具的虚拟工作空间。一个示例任务是创建平面图、家具方案和逼真的浴室渲染图。
训练有素的人类专家会手动检查 AI 代理是否成功完成任务。他们用相关专业软件打开提交的文件,并将 AI 的输出与人类自由职业者交付的工作直接对比。CAIS 曾尝试用另一个 AI 来自动化这项劳动密集的审查,但迄今未能成功。原因是 AI 审查者本身几乎无法操作专业软件,容易被表面精致但技术上有缺陷的提交所蒙蔽,从而对模型评分过于宽松。
从产业视角看,RLI 的意义在于把评估锚定在真实付费项目而非单项能力上。41.3% 的完成率虽仍意味着多数任务无法达标,但一年内从 2.5% 到 41.3% 的曲线,以及 Fable 5.2 在音频、建筑、3D 等创意与工程交叉领域的突破,提示 AI 代理正从辅助工具向可交付成果的执行者过渡。对依赖自由职业者完成设计、剪辑、建模等任务的外包平台与创意服务公司而言,这既是效率机会,也意味着任务定价与人力结构可能面临重估。与此同时,工业产品设计与动画等短板的存在,说明专业门槛高、容错率低的环节仍是当前代理的边界。