Abstract
Achieving spatial intelligence requires moving beyond visual plausibility to build world simulators grounded in physical laws. While coding LLMs have advanced static 3D scene generation, extending this paradigm to 4D dynamics remains a critical frontier. This task presents two fundamental challenges: multi-scale context entanglement, where monolithic generation fails to balance local object structures with global environmental layouts; and a semantic-physical execution gap, where open-loop code generation leads to physical hallucinations lacking dynamic fidelity. We introduce Code2Worlds, a framework that formulates 4D generation as language-to-simulation code generation. First, we propose a dual-stream architecture that disentangles retrieval-augmented object generation from hierarchical environmental orchestration. Second, to ensure dynamic fidelity, we establish a physics-aware closed-loop mechanism in which a PostProcess Agent scripts dynamics, coupled with a VLM-Motion Critic that performs self-reflection to iteratively refine simulation code. Evaluations on the Code4D benchmark show Code2Worlds outperforms baselines with a 41% SGS gain and 49% higher Richness, while uniquely generating physics-aware dynamics absent in prior static methods. Code: this https URL. Website: this https URL.
Abstract (translated)
实现空间智能需要超越视觉逼真度，构建基于物理定律的现实世界模拟器。虽然编码大型语言模型（LLM）已经推进了静态3D场景生成的发展，但将这一范式扩展到4D动态领域仍然是一个关键的研究前沿。这项任务面临两个基本挑战：多尺度上下文纠缠问题，在这种情况下，单一的整体生成方法无法平衡局部物体结构和全局环境布局；以及语义-物理执行差距，开放循环代码生成会导致缺乏动态真实的物理幻觉。我们引入了Code2Worlds框架，该框架将4D生成作为语言到模拟代码生成来处理。 首先，我们提出了一种双流架构，它分离出增强检索的物体生成与分层环境协调。其次，为了确保动态真实度，我们建立了一个具有物理学感知能力的闭环机制，在这个机制中，后处理代理（PostProcess Agent）编写动力学脚本，并结合视觉语言模型-运动批评家（VLM-Motion Critic），该批评家执行自我反思以迭代地改进模拟代码。 在Code4D基准测试上的评估表明，Code2Worlds相较于基线方法，在SGS指标上提高了41%，而在丰富度方面提高了49%。同时，它还能独特生成以前静态方法中缺失的具有物理学感知能力的动力学效果。 请注意，原文末尾提及了代码链接和网站链接，但这些链接在您的问题中是以占位符的形式出现的（"this https URL."），因此我无法直接提供它们的具体内容或访问。如果您需要访问这些资源，请前往原发布页面获取详细信息。
URL
https://arxiv.org/abs/2602.11757
