腾讯旗下腾讯 Robotics X、福田实验室与腾讯混元团队联合发布了具身认知基础模型 Hy-Embodied-RxBrain-1.0(简称 RxBrain),同步公开了技术报告、官方推理代码与模型权重。该模型参数量约 62 亿,定位为面向具身智能的统一多模态基础模型,试图用一个模型同时解决机器人理解、预测与规划中的语言推理和视觉想象问题。
RxBrain 的核心设计在于将三项关键能力整合进单一的自回归序列:具身理解推理,可对图像与多帧视频进行问答和链式思维推理;世界状态预测,能根据动作想象物理世界中即将出现的后续帧;联合子目标规划,将任务分解为步骤,并为每一步同时输出下一步动作的语言描述和应达到的目标图像。这三者通过交错生成机制实现——模型在自回归过程中交替输出推理文本与流匹配生成的想象帧,由学习到的图像令牌决定何时进行视觉想象,从而将“做什么”与“世界应呈现什么状态”逐步耦合。
在架构上,RxBrain 采用了统一混合 Transformer(Mixture-of-Transformers,MoT)设计,以约 62 亿参数的主干网络承载文本、视觉与生成三种模态的专用通路,使理解与图像合成共享一个自回归模型,而非传统的分离式塔式结构。其图像生成部分依赖流匹配图像头,将想象帧解码至冻结的 FLUX VAE 潜空间,支持文本到图像、多帧世界模型推演以及目标图像规划。
从产业视角看,RxBrain 的发布标志着具身智能模型正从单一任务模块走向“理解—预测—规划”一体化。传统机器人系统通常将感知、规划与控制拆分为独立模块,而 RxBrain 尝试在统一模型中完成从视觉理解到行动想象的闭环,这有助于减少模块间信息损耗,提升端到端任务执行的连贯性。对于 AI 应用层而言,这类模型若能在真实机器人平台上稳定运行,将降低具身智能系统的开发复杂度,并可能推动世界模型在工业自动化、服务机器人等场景的落地。
值得注意的是,该模型目前仅支持基于 Transformers 的推理(理解与生成),团队在路线图中列出了未来将支持 vLLM 推理、微调代码以及在线 Gradio 演示。其推理代码依赖特定版本的 Transformers 分支,尚未合并至主流发行版,这意味着早期使用者需要一定的工程适配能力。此外,图像生成功能需额外获取 FLUX VAE 权重,模型许可采用“other”类型,具体商用条款需进一步确认。
在具身智能赛道,将语言模型与视觉生成深度耦合的探索正成为前沿方向。RxBrain 的交错推理与想象机制,为智能体在复杂物理环境中进行多步规划提供了新的技术路径,其后续在实际机器人硬件上的表现与生态建设值得持续关注。