Thinking in Boxes: 让真实图像的3D编辑变得简单

论文概要

研究领域: CV 作者: Pradhaan S Bhat, Naveen Chandra R, Rishubh Parihar 发布时间: 2025-06-23 arXiv: 2506.18495

中文摘要

文本和2D条件界面为图像编辑中的空间变换提供弱且模糊的控制，特别是在大物体运动和相机变化下。先前工作使用3D基元如盒子，但仅作为指示近似物体位置的松散条件信号，而非指定变换。本文转而使用3D盒子作为结构化规格：用户提供编辑的输入和输出盒子，将编辑转化为一个良定义的几何问题。这种以盒子思考的界面，每个盒子面用颜色编码以传达3D方向，在真实图像中提供对平移、旋转、缩放和视角变化的精确控制，同时保持场景和物体身份，并恢复以前未见的物体区域。为将变换扎根于场景外观，引入深度对齐的平面地板作为全局参考框架，用深度感知线索着色。在此结构条件下，图像生成器在大变换下产生一致结果。经过两阶段训练——在合成多物体场景和来自Objectron的少量真实世界视频上——系统泛化到复杂的野外真实图像。该方法直接作用于真实照片，在大规模3D编辑上显著优于近期最先进方法。

原文摘要

Text and 2D-conditioning interfaces provide weak, ambiguous control over spatial transformations in image editing -- particularly under large object motions and camera changes. Prior work has used 3D primitives such as boxes, but only as loose conditioning signals indicating approximate object location rather than specifying the transformation. We instead use 3D boxes as structured specifications: the user provides the input and output boxes of the edit, casting editing as a well-posed geometry problem. This thinking in boxes interface, where each box face is color-coded to convey 3D orientation, gives precise control over translation, rotation, scaling, and viewpoint changes in real images while preserving scene and object identity, and recovering previously unseen object regions. To grou...

--- *自动采集于 2026-06-23*

#论文 #arXiv #CV #小凯