腾讯混元3D团队近日推出3D开放世界生成框架WorldClaw,用户只需输入一句开放式文本描述,即可生成可自由探索、可继续编辑的大规模3D世界。相关论文已于8月5日公开,项目网页及代码也已上线。

WorldClaw采用由粗到细的Agentic 3D世界生成方式,将生成过程分为四个阶段:意图分析和场景规划、全局地形生成、区域对象生成、场景精修。多个Agent协作完成用户意图分析、场景规划和全局地形构建,再根据各区域的功能和地形条件,逐区生成建筑、车辆、植被等内容,并将其转换为可单独编辑、替换和复用的3D资产。初始场景完成后,Agent还会根据多视角渲染结果,持续检查并修正物体尺度、姿态、悬浮和穿模等问题。

具体而言,意图分析Agent负责提取用户明确给出的信息,如场景类型、视觉风格、关键区域等,不主动补充用户未提及的内容;场景规划Agent则在此基础上补全生成3D世界所需的信息,整理成统一的场景规范。生成地形时,系统先准备语义布局图、可复用3D环境资产和地表材质,通过PCG(程序化内容生成)构建3D高度场,不同区域采用相应的地貌规则,使山地、沙漠、平原自然衔接。地形优化Agent会重新渲染场景,检查地形形态、材质尺度、资产密度和区域过渡,形成“程序化生成—渲染检查—Agent修正”的闭环。

填充区域内容时,WorldClaw不会一次将整个世界塞满,而是先挑选需要内容且地形条件合适的区域,将地形渲染成二维图像,让图像生成模型在图中加入建筑、车辆和植被等内容,再利用SAM3分割对象、SAM3D重建为独立3D网格,并校准尺度、位置和朝向。每个独立生成的对象均可继续编辑、替换和复用。完成放置后,场景精修Agent通过MCP接口连接Blender,根据多视角渲染结果检查对象,对尺度或姿态不合理的对象重新调整,几何和纹理质量不足的对象交由混元3D进一步优化,发现悬浮或穿模后还可调整对象位置或局部抬升、平滑地形。

腾讯混元团队展示了四季村落、热带海盗岛屿、沙漠战场等生成案例,并将WorldClaw与SynCity、Marble、MajutsuCity、WorldGen和GPT-5.6 Sol进行了定性对比。结果显示,基于WorldClaw生成的复杂地形具有明显高差、连续边界和清晰的语义分区,且支持自由探索及对象级编辑。

从产业角度看,WorldClaw将全局规划、复杂地形生成、区域内容构建和渲染反馈串联起来,让大规模3D世界生成拥有了持续规划、生成、检查和修改的完整流程。最终产物由真实地形和独立3D资产组成,可继续用于游戏引擎和内容生产。随着基础模型的编程、空间理解和工具使用能力提升,Agent有望进入几何建模、材质与Shader构建、PCG、动画和交互逻辑等更多3D生产环节,3D生成也可能从“模型生成资产”逐步走向“Agent编程构建世界”,让创作者可以把更多精力放在定义想要创造的世界上。