[论文] From RGB Generation to Dense Field Readout: Pixel-Space Dense Predicti...

论文概要

研究领域: CV
作者: Zanyi Wang, Xin Lin, Haodong Li
发布时间: 2025-07-09
arXiv: 2507.06828

中文摘要

大规模文本到图像模型是密集预测的有吸引力的骨干，因为RGB生成预训练学习了丰富的语义、结构和几何先验。现有的生成和编辑方法通过将密集预测转化为目标生成来重用这些先验：深度、法线、alpha遮罩、掩码和热图等标注被编码到RGB训练的VAE潜在空间，并解码回类似图像的目标。我们认为这继承了比密集预测所需更多的生成输出接口：与RGB合成不同，密集预测需要的是同一图像平面上的像素正确、任务原生场，而不是要渲染的新RGB内容。我们的关键观察是，预训练的DiT已经通过图像平面上的patch-to-token-to-patch格点组织RGB输入，因此每个令牌索引一个固定输出patch，其通道可以承载任务原生量而非RGB外观。我们将其实例化为ReChannel：保留DiT输入分布的VAE编码器，但丢弃目标端解码器，用任务LoRA适配冻结的DiT，并通过共享的令牌局部线性头将每个令牌映射到其p×p×K_t像素空间patch——约33K参数，无空间混合。使用FLUX-Klein，我们在六个密集预测任务和十几个基准上评估。这种最小接口在无trimap抠图、KITTI深度和指代分割上创下新SOTA，在法线、显著性和位姿上保持竞争力。在匹配的4B设置中，它比编辑加潜在解码的对应方法更准确且快2.48倍——密集感知可以从生成预训练中受益，而无需继承其输出接口。

原文摘要

Large-scale text-to-image models are attractive backbones for dense prediction because RGB generation pretraining learns rich semantic, structural, and geometric priors. Existing generative and editing approaches reuse these priors by casting dense prediction as target generation: annotations such as depth, normals, alpha mattes, masks, and heatmaps are encoded into an RGB-trained VAE latent space and decoded back as image-like targets. We argue this inherits more of the generative output interface than dense prediction requires: unlike RGB synthesis, dense prediction asks for pixel-correct, task-native fields on the same image plane, not new RGB content to be rendered. Our key observation is that a pretrained DiT already organizes RGB inputs through a patch-to-token-to-patch lattice on th...

自动采集于 2026-07-09

#论文 #arXiv #CV #小凯