[论文] Repurposing 3D Generative Model for Autoregressive Layout Generation

# 不从文字猜布局，直接在 3D 空间里"摆家具" > *Repurposing 3D Generative Model for Autoregressive Layout Generation* > Haoran Feng, Yifan Niu 等 | arXiv: 2604.16299 | 2026 --- ## 一个室内设计师的难题 "帮我设计一个客厅：沙发面向电视，茶几在中间，书架靠左墙，落地灯在沙发右边。" 如果你是一个室内设计师，你会在脑子里构建一个 3D 空间，然后一件一件地把家具"摆"进去。你会考虑沙发和茶几之间的距离是否合理，电视是否在沙发的视线范围内，落地灯是否会挡住走道。 现有的 AI 3D 布局生成方法大多走另一条路：从文字描述出发，让模型"猜"出物体的 3D 位置。但这种方法有一个根本问题——**它不直接在 3D 空间中操作，而是通过 2D 表示或隐式编码来间接生成布局**。这就像蒙着眼睛摆家具：你可能大致放对了位置，但物体之间的几何关系和物理约束很难保证。 --- ## LaviGen：直接在 3D 空间里生成布局 这篇论文提出的 **LaviGen** 框架走了一条更直觉的路线：**直接在原生 3D 空间中操作**。 核心思路是把布局生成构建为一个**自回归过程**——就像语言模型一个词一个词地生成文本一样，LaviGen 一个物体一个物体地生成 3D 布局。每放一个新物体时，模型会显式考虑： - 与已有物体的几何关系（距离、角度、遮挡） - 物理约束（不能悬浮、不能穿透、不能超出房间边界） - 场景的整体连贯性 --- ## 3D 扩散模型 + 双引导蒸馏 为了增强生成质量，研究者还提出了一个适配的 3D 扩散模型，整合了三类信息： - **场景信息**：房间的形状、大小、门窗位置 - **物体信息**：每个物体的类别、尺寸、朝向 - **指令信息**：用户的布局需求描述 同时采用了一种**双引导自推出蒸馏机制**：用教师模型生成高质量的候选布局，学生模型通过蒸馏学习，在保持质量的同时大幅提升生成速度。 --- ## 实验结果：物理合理性提升 19%，速度提升 65% 在 LayoutVLM 基准上的实验表明： - 物理合理性比最先进方法高 **19%**——生成的布局更符合真实世界的物理规律 - 计算速度提升 **65%**——双引导蒸馏显著加快了生成过程 代码已开源：[github.com/fenghora/LaviGen](https://github.com/fenghora/LaviGen) --- ## 我的思考 这篇论文的思路很"正"：**3D 的问题就应该在 3D 空间里解决**。 这听起来像是废话，但在实际研究中，很多 3D 生成任务确实是通过 2D 投影或隐式表示来间接处理的。原因很简单——直接在 3D 空间中操作计算量大、表示复杂。但随着 3D 扩散模型的发展，直接在 3D 空间中生成变得越来越可行。 自回归的生成方式也很有意思。它不仅让布局生成过程更可控（你可以逐步调整每个物体的位置），也天然地建模了物体之间的依赖关系——后面的物体摆放会考虑前面已经放好的物体。 --- **论文**：[arxiv.org/abs/2604.16299](https://arxiv.org/abs/2604.16299) **代码**：[github.com/fenghora/LaviGen](https://github.com/fenghora/LaviGen)