騰訊混元3D團隊近日推出3D開放世界生成框架WorldClaw,使用者只需輸入一句開放式文本描述,即可生成可自由探索、可繼續編輯的大規模3D世界。相關論文已於8月5日公開,專案網頁及程式碼也已上線。

WorldClaw採用由粗到細的Agentic 3D世界生成方式,將生成過程分為四個階段:意圖分析和場景規劃、全域性地形生成、區域物件生成、場景精修。多個Agent協作完成使用者意圖分析、場景規劃和全域性地形構建,再根據各區域的功能和地形條件,逐區生成建築、車輛、植被等內容,並將其轉換為可單獨編輯、替換和複用的3D資產。初始場景完成後,Agent還會根據多視角渲染結果,持續檢查並修正物體尺度、姿態、懸浮和穿模等問題。

具體而言,意圖分析Agent負責提取使用者明確給出的資訊,如場景型別、視覺風格、關鍵區域等,不主動補充使用者未提及的內容;場景規劃Agent則在此基礎上補全生成3D世界所需的資訊,整理成統一的場景規範。生成地形時,系統先準備語義佈局圖、可複用3D環境資產和地表材質,通過PCG(程式化內容生成)構建3D高度場,不同區域採用相應的地貌規則,使山地、沙漠、平原自然銜接。地形最佳化Agent會重新渲染場景,檢查地形形態、材質尺度、資產密度和區域過渡,形成“程式化生成—渲染檢查—Agent修正”的閉環。

填充區域內容時,WorldClaw不會一次將整個世界塞滿,而是先挑選需要內容且地形條件合適的區域,將地形渲染成二維影像,讓影像生成模型在圖中加入建築、車輛和植被等內容,再利用SAM3分割物件、SAM3D重建為獨立3D網格,並校準尺度、位置和朝向。每個獨立生成的物件均可繼續編輯、替換和複用。完成放置後,場景精修Agent通過MCP介面連線Blender,根據多視角渲染結果檢查物件,對尺度或姿態不合理的物件重新調整,幾何和紋理質量不足的物件交由混元3D進一步最佳化,發現懸浮或穿模後還可調整物件位置或區域性抬升、平滑地形。

騰訊混元團隊展示了四季村落、熱帶海盜島嶼、沙漠戰場等生成案例,並將WorldClaw與SynCity、Marble、MajutsuCity、WorldGen和GPT-5.6 Sol進行了定性對比。結果顯示,基於WorldClaw生成的複雜地形具有明顯高差、連續邊界和清晰的語義分割槽,且支援自由探索及物件級編輯。

從產業角度看,WorldClaw將全域性規劃、複雜地形生成、區域內容構建和渲染反饋串聯起來,讓大規模3D世界生成擁有了持續規劃、生成、檢查和修改的完整流程。最終產物由真實地形和獨立3D資產組成,可繼續用於遊戲引擎和內容生產。隨著基礎模型的程式設計、空間理解和工具使用能力提升,Agent有望進入幾何建模、材質與Shader構建、PCG、動畫和互動邏輯等更多3D生產環節,3D生成也可能從“模型生成資產”逐步走向“Agent程式設計構建世界”,讓創作者可以把更多精力放在定義想要創造的世界上。