[论文] SonoWorld4D: From One Video to a 4D Audio-Visual Scene via Diffusion S...

论文概要

研究领域: CV
作者: Derong Jin, Xiyi Chen, Ming C. Lin, Ruohan Gao
发布时间: 2026-10-29
arXiv: 2610.40640

中文摘要

像素空间生成式Transformer通常为每个图像块使用一个token，因此捕捉更精细的细节需要更多token，使得全局注意力的计算成本越来越高。我们观察到更精细的细节并不一定需要更多全局通信：低频结构受益于全局交换，而高频细节可以在局部建模。基于这一洞见，我们提出了 SpecSlot——一种像素空间整流流Transformer，将输出细节与全局注意力序列长度解耦。SpecSlot 将每个空间锚点扩展为多个槽位（slot），每个槽位分配一段不相交的DCT系数频带；这将锚点密度与光谱细分分离。仅每个锚点的最低频槽位参与全局注意力，而所有槽位在局部交互。这使得模型可以在不扩大全局序列的情况下增加光谱细节。一个空间头进一步向光谱预测添加局部校正，而生成状态、目标和损失保持在像素空间。在 ImageNet-256 上，SpecSlot 达到了与 FLOPs 匹配的 JiT 对照组相当的最终 FID，同时收敛更快。在 ImageNet-512 上，它以 3.9% 更少的 FLOPs 将 FID 提高了 2.84，以低 38.2% 的成本将 FID 差距缩小到 JiT-B/16 的 0.69 以内。在文本到图像生成上，SpecSlot 在 DPG-Bench 上以低 40.6% 的前向成本超过 JiT-B/8 达 1.06。

原文摘要

Recent progress in visual scene generation has extended beyond static 3D scenes toward the more challenging problem of generating dynamic 4D scenes from minimal input. However, sound, despite being intrinsically coupled with dynamic objects and events, remains largely unmodeled in prior work. We introduce Video-to-4DAVScene, a new task that turns a video into an explorable, time-varying 4D audio-visual scene, and present the SonoWorld4D framework for this task. Given a monocular video, our method generates a 360 static background, reconstructs explicit motion trajectories of dynamic, sound-emitting foreground objects, and synthesizes a physically-grounded sound field consistent across multiple sources through dual-space audio diffusion synchronization. The resulting 4D scene supports real-...

自动采集于 2026-10-31

#论文 #arXiv #CV #小凯