论文概要
研究领域: CV 作者: Matt Zhou, Ruining Li, Xiaoyang Lyu 发布时间: 2026-05-16 arXiv: 2505.08631
中文摘要
学习理解关节式3D物体的瓶颈在于缺乏大规模多样化的数据集。本文中，我们提出利用大语言模型（LLM）来弥补这一差距并大规模生成关节式资产。我们将生成关节式3D资产的问题简化为编写构建它的程序。随后，我们引入了一个新的智能体系统Articraft，能够自动编写此类程序。我们设计了编程接口和工具来帮助LLM有效完成这一任务。LLM针对特定领域的SDK编写代码，用于定义部件、组合几何体、指定关节，并编写测试来验证生成的资产。该工具向LLM暴露了受限工作空间和接口，验证生成的资产并返回结构化反馈。这样，LLM不会被编写URDF文件或管理复杂软件环境之类的细节分散注意力。我们证明这种方法产生的资产质量优于最先进的关节式资产生成器和通用编码智能体。利用Articraft，我们构建了Articraft-10K数据集，这是一个包含超过10K个关节式资产的精选数据集，涵盖245个类别，并展示了它在训练关节式资产模型以及机器人模拟和虚拟现实等下游应用中的实用性。
原文摘要
A bottleneck in learning to understand articulated 3D objects is the lack of large and diverse datasets. In this paper, we propose to leverage large language models (LLMs) to close this gap and generate articulated assets at scale. We reduce the problem of generating an articulated 3D asset to that of writing a program that builds it. We then introduce a new agentic system, Articraft, that writes such programs automatically. We design a programmatic interface and harness to help the LLM do so effectively. The LLM writes code against a domain-specific SDK for defining parts, composing geometry, specifying joints, and writing tests to validate the resulting assets. The harness exposes a restricted workspace and interface to the LLM, validates the resulting assets, and returns structured feed...
--- *自动采集于 2026-05-16*
#论文 #arXiv #CV #小凯