Abstract
We address semantic 3D part segmentation: decomposing objects into parts with meaningful names. While datasets exist with part annotations, their definitions are inconsistent across datasets, limiting robust training. Previous methods produce unlabeled decompositions or retrieve single parts without complete shape annotations. We propose ALIGN-Parts, which formulates part naming as a direct set alignment task. Our method decomposes shapes into partlets - implicit 3D part representations - matched to part descriptions via bipartite assignment. We combine geometric cues from 3D part fields, appearance cues from multi-view vision features, and semantic knowledge from language-model-generated affordance descriptions. Text-alignment loss ensures partlets share embedding space with text, enabling a theoretically open-vocabulary matching setup, given sufficient data. Our efficient and novel, one-shot, 3D part segmentation and naming method finds applications in several downstream tasks, including serving as a scalable annotation engine. As our model supports zero-shot matching to arbitrary descriptions and confidence-calibrated predictions for known categories, with human verification, we create a unified ontology that aligns PartNet, 3DCoMPaT++, and Find3D, consisting of 1,794 unique 3D parts. We introduce two novel metrics appropriate for the named 3D part segmentation task. We also show examples from our newly created TexParts dataset.
Abstract (translated)
我们解决了语义三维部件分割问题：将物体分解为具有有意义名称的部件。尽管已有包含部件注释的数据集，但不同数据集中对部件定义不一致的问题限制了模型在这些定义上的稳健训练。以往的方法会产生未标记的分解或者从没有完整形状注释的情况下检索单个部件。我们提出了ALIGN-Parts方法，将部件命名作为直接集合对齐任务进行建模。该方法通过双部图分配的方式，将形状分解为“partlet”（隐式的三维部件表示）与部件描述相匹配。我们的方法结合了从3D部件字段获取的几何线索、多视角视觉特征中的外观线索以及来自语言模型生成的功能描述中的语义知识。文本对齐损失确保了这些部分表示与文本共享嵌入空间，从而在有足够的数据支持下，理论上可以实现开放词汇表的匹配设置。我们提出的方法是一种高效且新颖的一次性三维部件分割和命名方法，在包括作为可扩展注释引擎在内的多个下游任务中都有应用价值。由于我们的模型支持对任意描述进行零样本匹配，并能够为已知类别提供校准置信度的预测，结合人类验证后，我们可以创建一个统一的知识体系框架，将PartNet、3DCoMPaT++和Find3D中的1,794个独特的三维部件统一起来。我们还引入了两个适合命名三维部件分割任务的新指标，并展示了从新创建的TexParts数据集中选取的例子。 这段翻译详细介绍了所提出的方法（ALIGN-Parts）以及它如何解决现有问题，同时指出了该方法的应用价值和创新点，包括其在下游任务中的应用、零样本匹配能力和通过人类验证建立统一的知识体系框架。
URL
https://arxiv.org/abs/2512.18003
