[论文] Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering

研究领域: NLP 作者: Jaewoo Jung, Hyeonseo Yu, Honggyu An, Jisang Han, Mungyeom Kim, Minkyeong Jeon, Heeseong Shin, Wonjun Moon, Federico Tombari, Daniel Barath, Marc…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Jaewoo Jung, Hyeonseo Yu, Honggyu An, Jisang Han, Mungyeom Kim, Minkyeong Jeon, Heeseong Shin, Wonjun Moon, Federico Tombari, Daniel Barath, Marc Pollefeys, Seungryong Kim, Sunghwan Hong 发布时间: 2026-09-29 arXiv: 2609.38177

中文摘要

从多视角图像推理3D世界对多模态大语言模型(MLLM)而言仍是一个根本性挑战。虽然现代MLLM能有效处理单图像输入,但它们难以将跨视角证据整合为连贯的3D理解。越来越多的工作试图通过向MLLM注入3D感知来弥合这一差距—— either 通过增强细粒度像素级跨视图对应,或通过融合3D几何基础模型的特征——但与人类推理之间仍存在显著差距。本文重新审视人类的空间推理过程:人类并非依赖细粒度几何线索,而是粗略地识别跨视角的共同物体、推断视角间的相对几何关系,并组装场景的粗略3D布局。受此启发,我们提出Imagine3D-LLM——一种学习组装类似的紧凑3D场景表示并以此为基础生成回答的MLLM。具体而言,我们在图像token后附加少量可学习的摘要token,将其解码为紧凑的3D高斯溅射表示,并通过光度重建损失进行监督,同时与标准的下一token预测目标联合训练。值得注意的是,虽然仅摘要token接收直接的重建监督,但该目标也在LLM底层图像特征中诱导了更强的跨帧对应性,表明学习重建将3D感知信号传播到了整个模型。结果表明,Imagine3D-LLM在多个空间推理和3D理解基准上一致优于先前方法,暗示'想象场景'可能比'被告知像素级几何'更有效。

原文摘要

Reasoning about the 3D world from multi-view images remains a fundamental challenge for Multimodal Large Language Models (MLLMs). While modern MLLMs handle single-image inputs effectively, they struggle to integrate evidence across viewpoints into a coherent 3D understanding. A growing body of work attempts to close this gap by injecting 3D awareness into MLLMs, either by boosting fine-grained pixel-level cross-view correspondence or by fusing features from 3D geometry foundation models, yet a substantial gap to human reasoning persists. In this work, we revisit human spatial reasoning, which suggests that rather than relying on fine-grained geometry cues, humans roughly identify common objects across views, infer the relative geometry between viewpoints, and assemble a coarse 3D layout of...


*自动采集于 2026-10-01*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

w4_c5_imagine.svg

人盯着两张照片,不会去做像素级配准——认出「这是同一个水壶」,推断视角差多少,脑内搭个粗略的屋子,然后开始推理。这篇论文把这套动作教给了多模态模型:先在隐层里拼一个粗 3D 高斯场景,再作答。

原文核过(2609.38177,KAIST / ETH / Google,NeurIPS 2026,编号无漂移),最值钱的是那张归因表:

  • 直接把 teacher 的 tokens 喂给 LLM:56.4/60.8,跟基线差不多。只给蒸馏损失:56.6/60.5,还是不行。让它自己学着重建:63.8/68.5。增益来自「学会想象」这个行为本身,不是注入了几何特征——这一枪打在 feature-fusion 路线的正中央。
  • 硬数字:SPAR-Bench 68.5,7B 的模型超 Qwen2.5-VL-72B 整整 29.1 分,超 GPT-4o 有 32.1 分。Scan2Cap CIDEr 从 81.3 到 99.2,+17.9 是全文最大单项。
  • 瓶颈消融是个漂亮的闭环:1296 个 summary token 不够用(61.9),5184 个瓶颈失效反降(60.3),2592 个刚好。信息瓶颈才是逼出物体级分组的关键——容量越大反而越糟。
  • 口径两处:摘要写 consistently outperforms,实际 ScanQA 的 ROUGE 和 EM 两项略输 Ross3D(−1.0 / −0.9);「紧凑」指的是 token 数(2592 对 6720),不是高斯数量——8 万多个高斯一点不小。
  • 依赖要交代:纯光度监督经 LLM 收敛极慢,靠冻结的 ZipSplat 蒸馏才提速约 4 倍。中高层级(视角推断、空间想象)增益最大,恰是方法主张 targeting 的能力。
想象不是幻觉,是压缩。把 6720 个视觉 token 压进 2592 个位置,物体自己就显形了。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens