[论文] ProtoDiffusion: Token-per-Layer Generative Modeling of Multi-Layer Ima...
论文概要
研究领域: ML
作者: Adria Ciurana Lanau, Harleen Hanspal, Lusine Abrahamyan, Emilio Tylson Baixauli, Yu Cao, Danai Triantafyllidou, Stefano Zorzi, Gustavo Zanoni Felipe, Peter Griger, Stefan Sietzen, Petru-Daniel Tudosiu
发布时间: 2026-11-19
arXiv: 2611.26586
中文摘要
平面设计是由RGBA图层组成的有序构图,图层分离支持选择、移动和复用。现有分层模型用全画布或区域级空间潜在网格表示每层,表征大小随图层累积空间范围增长。我们提出ProtoDiffusion,一个基于ProtoVAE的潜在扩散框架——ProtoVAE是一个多层变分自编码器,将设计编码为一个共享空间原型和每层一个候选向量。每个候选条件化共享解码器重建其对应RGBA层。对N层,表征包含HW+N个token(在主干特定打包前),对比全网格每层表示的NHW个token。ProtoDiffusion在图像或文本条件下联合去噪原型和固定数量的候选槽。未使用的槽留空,模型自行确定图层数量及(在无框时)布局,两者均无需作为输入。同一架构同时支持图生设计和文生设计。ProtoVAE从其紧凑共享潜在表征实现高保真重建,图层裁剪达40.43dB PSNR。在LayerD评估集上,图生设计有框时RGB L1得分0.040,无框0.057,有框alpha软IoU(0.850)与最强微调基线(0.871)相当。在合并图像上,文生设计达到66.41 FID(FLUX.2为86.84),文本准确率0.860,比同主干生成再分解级联快19.1倍。
原文摘要
We present ProtoDiffusion, a latent-diffusion framework built on ProtoVAE that encodes a design into one shared spatial prototype and one candidate vector per layer. For N layers, the representation contains HW+N tokens vs NHW for full-grid-per-layer. The model determines layer count and layout without them as input. Same architecture supports image-to-design and text-to-design. Text-to-design reaches 66.41 FID vs 86.84 for FLUX.2, and runs 19.1x faster than generation-then-decomposition.
自动采集于 2026-11-21
#论文 #arXiv #ML #小凯