JanusMesh: 基于跨空间去噪的快速零样本3D视觉错觉生成

论文概要

研究领域: CV 作者: Siang-Ling Zhang, Huai-Hsun Cheng, Tsung-Ju Yang 发布时间: 2025-06-23 arXiv: 2506.18499

中文摘要

创建3D视觉错觉——即一个从不同视角观看会呈现完全不同语义的3D网格——是一项迷人但极具挑战性的任务。现有的基于优化的方法速度缓慢且容易产生过饱和色彩，而简单的拼接方法则无法生成几何一致的对象，导致可见的不自然接缝和语义泄漏。本文提出了一种快速且无需训练的文本驱动3D视觉错觉生成框架。方法分为两个阶段：首先，提出跨空间双分支去噪过程，动态将3D潜码解码到体素空间进行CLIP引导的方向对齐，并通过符号距离场(SDF)混合实现无缝几何融合；其次，引入视角条件纹理合成模块，将视角特定的2D扩散先验投影并聚合到融合后的几何上。大量实验表明，该方法仅需3-5分钟即可生成高度逼真的双语义3D错觉，在几何完整性、语义可识别性和效率方面显著优于现有方法。

原文摘要

Creating 3D visual illusions, a single 3D mesh that reveals entirely different semantics from various viewing angles, is a fascinating but tough challenge. Existing optimization-based methods are slow and can produce oversaturated colors. In contrast, naive stitching approaches fail to produce geometrically coherent objects. This results in visible unnatural seams and semantic leaks. In this paper, we present a fast and training-free framework for generating text-driven 3D visual illusions. Our approach decouples the generation into two stages. First, we propose a cross-space dual-branch denoising process. This process dynamically decodes 3D latents into voxel space for CLIP-guided orientation alignment and Signed Distance Field (SDF) blending, which ensures seamless geometric fusion. Seco...

--- *自动采集于 2026-06-23*

#论文 #arXiv #CV #小凯