Abstract
Foundation models trained on vast amounts of data have demonstrated remarkable reasoning and generation capabilities in the domains of text, images, audio and video. Our goal at Roblox is to build such a foundation model for 3D intelligence, a model that can support developers in producing all aspects of a Roblox experience, from generating 3D objects and scenes to rigging characters for animation to producing programmatic scripts describing object behaviors. We discuss three key design requirements for such a 3D foundation model and then present our first step towards building such a model. We expect that 3D geometric shapes will be a core data type and describe our solution for 3D shape tokenizer. We show how our tokenization scheme can be used in applications for text-to-shape generation, shape-to-text generation and text-to-scene generation. We demonstrate how these applications can collaborate with existing large language models (LLMs) to perform scene analysis and reasoning. We conclude with a discussion outlining our path to building a fully unified foundation model for 3D intelligence.
Abstract (translated)
基于大量数据训练的基础模型在文本、图像、音频和视频领域展示了出色的推理和生成能力。我们的目标是在Roblox上构建一个面向三维智能的基础模型，该模型能够支持开发者从生成三维物体和场景到为动画搭建角色再到编写描述对象行为的程序脚本等各个方面的工作。我们将讨论这样一个3D基础模型的关键设计要求，并介绍我们朝此方向迈出的第一步。我们预期3D几何形状将成为一种核心数据类型，并且会详细说明我们的3D形状标记化解决方案。我们会展示如何使用我们的标记化方案在文本到形状生成、形状到文本生成和文本到场景生成等应用中进行操作。此外，我们还会演示这些应用程序如何与现有的大规模语言模型（LLMs）协作以执行场景分析和推理工作。最后，我们将讨论构建一个完全统一的面向3D智能的基础模型的道路。 具体而言： 1. **核心设计要求**：为了创建能够支持开发者在Roblox上实现各种功能的3D基础模型，该模型需要具备理解、生成及修改三维数据的能力。 2. **初步步骤**：我们首先确定了3D几何形状作为核心数据类型，并开发了一个专门用于处理这些形状的标记化系统。这个3D形状标记器是构建更复杂模型的第一步。 3. **应用实例与协作**： - 文本到形状生成（Text-to-Shape Generation）和形状到文本生成（Shape-to-Text Generation）：通过使用我们的标记方案，可以将自然语言描述转换为具体的三维物体或场景，并且反过来也能从几何结构中提取出有意义的文本信息。 - 文本到场景生成（Text-to-Scene Generation）：这一功能使用户能够直接输入描述来创建复杂的三维环境，极大地简化了创作流程。 4. **与现有LLMs的合作**： 通过整合3D基础模型和现有的大规模语言模型（如GPT系列），我们可以利用LLM的文本处理能力来进行更高级别的场景分析及推理工作。这不仅能够增强用户交互体验，还为自动化内容生成开辟了新的可能。 5. **未来展望**：我们期望这些初步尝试将成为构建一个全面支持三维智能的基础模型的重要基石，在这一过程中推动更多创新和应用的发展。 综上所述，我们的目标是建立一套完整统一的3D基础模型体系，这将显著提高开发者在Roblox平台上的创造力与生产力。
URL
https://arxiv.org/abs/2503.15475
