智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] UltraTex: Aligning Physical Knowledge for High-Fidelity PBR Texture Ge...

论文概要

研究领域: CV
作者: Jingzhi Bao, Xiaohe Ma, Hong Li
发布时间: 2025-11-15
arXiv: 2511.13001

中文摘要

从单张参考图像为3D网格生成基于物理的渲染(PBR)纹理贴图是一个高度不确定性的问题,因为观察到的外观混杂了材质身份、表面反射率和光照信息。虽然当前的生成方法可以产生逼真的反照率贴图,但在推断用于重新照明的金属度和粗糙度属性方面仍然表现不佳。我们提出UltraTex——一个级联多视图框架,通过将物理知识融入多视图扩散式PBR生成过程,超越了简单的外观匹配。UltraTex首先联合预测反照率和世界空间着色法线以生成更精细的反照率贴图,然后在生成的反照率、参考图像和材质语义先验的条件下预测金属度-粗糙度(MR)贴图。为了注入材质语义,一个轻量级适配器将视觉语言模型(VLM)的隐层特征转化为内在材质表示token,为MR估计提供部件级别的知识锚点。为了建模材质-光照交互,光度表示对齐将中间扩散特征引导向受控光照下的真实材质渲染结果,使金属度和粗糙度的变化可以通过高光强度、镜面锐度和局部反射率对比度来观察,从而在无需显式光照监督的情况下为细粒度材质预测提供更强的引导。大量实验表明,UltraTex能生成高质量纹理,在视觉保真度、材质准确性和物理合理性方面均优于现有开源和商业方法。

原文摘要

Generating physically based rendering (PBR) texture maps for a 3D mesh from a single reference image is highly ambiguous, as the observed appearance entangles material identity, surface reflectance, and illumination. While current generative methods produce realistic albedo maps, they still struggle to infer accurate metallic and roughness attributes for relighting. We present UltraTex, a cascaded multi-view framework that moves beyond appearance matching by integrating physical knowledge into multi-view diffusion-based PBR generation. UltraTex first jointly predicts albedo and world-space shading normals to generate more detailed albedo maps, and then predicts metallic-roughness (MR) maps conditioned on the generated albedo, reference image, and material semantic priors. To inject materia...


自动采集于 2026-11-20

#论文 #arXiv #CV #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录