苹果研究团队在机器人“大脑”方向披露了阶段性成果。当地时间11月4日，该团队在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》，公开了人形机器人自主控制系统HALO，并将系统部署到宇树科技的G1人形机器人上，让机器人在仿真环境学会的动作迁移到陌生真实房间中执行。

HALO的核心是一套三层协同控制架构。最上层是基于视觉语言模型的任务编排模块，默认采用千问Qwen3.6-35B-A3B，在机器人搭载的Mac mini上本地运行，与动作生成器共用模型服务引擎，无需联网即可工作；系统也可通过API调用云端模型以获得更强推理能力。这一层负责处理指令中的模糊信息，例如“坐下”需要机器人从眼前场景判断坐在哪里，“坐到椅子上”在路径畅通时可直接执行，若有桌子挡路则需拆解为俯身通过、接近椅子、坐下等连续子任务。任务编排模块通过机器人视角的视频持续观察环境，判断当前动作是否成功，并据此推进或重试，每次只向动作生成器下达一个明确子任务。

中间的动作生成层采用另一款千问模型Qwen3.5-2B，研究团队将其作为参数冻结的编码器，与负责生成动作的DiT解码器配合，根据机器人看到的画面和当前子任务规划未来约5秒的全身动作，每秒重新规划约3次，使动作计划能随环境变化持续更新。底层则是经强化学习、策略蒸馏等步骤训练的动作跟踪器，以每秒50次的频率运行，结合深度图像和机器人自身状态，将动作计划转化为关节控制指令。三层分别承担任务安排、动作规划和身体控制，协同完成从理解指令到执行动作的全过程。

验证结果方面，研究团队在6个未预先扫描或建图的真实环境中开展了360次单项任务测试，平均成功率为91%；另在一个真实环境中对3种组合任务分别测试10次，平均成功率为70%，其中“俯身通过障碍—走向目标—推箱子”这一组合的成功率为50%。项目页面展示了机器人听从指令推箱子、跟随人、坐上椅子，以及侧身穿过半开的门、俯身或爬行穿过桌底等动作，这些任务均要求机器人理解周围环境并根据空间条件调整身体姿态。

数据获取是这项研究重点解决的问题。研究团队在1000个程序生成的模拟家庭环境中合成了约300小时主要训练数据，将机器人“看到什么”“接到什么指令”和“如何运动”配对起来。具体流程是先生成动作，再将动作放入虚拟房间，最后从机器人视角渲染画面。以“坐到扶手椅上”为例，系统将其拆成向前走、转身和坐下等片段，由动作生成模型根据文字提示、路径点和关键姿态生成动作序列，再通过几何检查筛选动作，减少脚部滑动、身体穿入地面等问题；随后系统将动作安排到程序生成的房间中，检查机器人与家具的位置关系，寻找无碰撞的摆放方案，并利用仿真工具渲染机器人执行动作时看到的画面。训练中还会改变光照、色调、画面模糊程度等条件，使视觉输入更加多样。

算力投入方面，研究团队使用250张英伟达H100 GPU、耗时约48小时合成主要训练数据；动作生成器通过模仿学习训练，使用64张B200；动作跟踪器经强化学习、策略蒸馏等步骤训练，使用4张H100。团队同时公开了数据生成、模型训练和部署代码，涵盖动作生成、动作跟踪、任务编排以及仿真和真实机器人运行等环节。

研究团队也指出了当前局限：仿真生成数据并未完全摆脱人工参与，新增物理任务仍需人工编写提示词、设计动作关键帧，部分动作还使用了人类视频或动捕素材；机器人主要依赖视觉感知，难以直接感知接触情况，当物体离开相机视野或被遮挡时，涉及较多接触的任务表现会下降，加入触觉感知是后续改进方向之一。

从产业视角看，这项研究的意义不止于一个控制系统的成功率数字。它展示了端侧小模型与云端模型分工的可行路径——任务编排在本地Mac mini上运行千问模型，兼顾隐私与响应速度，同时保留调用云端API的弹性；也验证了用程序化仿真大规模合成“指令—视觉—动作”配对数据的工程流程，以及英伟达GPU在数据生成与策略训练中的角色。对关注具身智能的读者而言，苹果选择在宇树G1这一外部硬件平台上验证并开源代码，为机器人“大脑”的模型选型、数据管线与产业链协作提供了一个可复用的参考样本。