[论文] PixelMoE: Scaling Pixel-Space Diffusion with LLM-Style Mixture-of-Expe...

论文概要

研究领域: CV
作者: Ruixiao Dong, Jianmin Bao, Bozhi Luan, Zijie Meng, Xin Tao, Pengfei Wan, Kun Gai, Li Li, Houqiang Li
发布时间: 2026-10-13
arXiv: 2610.18857

中文摘要

像素空间扩散模型不依赖学习到的 tokenizer 直接建模原始图像，为潜在空间扩散模型提供了有吸引力的替代方案。然而像素空间模型的扩展主要遵循密集策略，将模型容量与活跃计算紧耦合。本文证明标准 LLM 风格的混合专家（MoE）架构可以有效迁移到像素空间扩散。基于此发现，我们提出 PixelMoE——一个像素空间生成框架，使用标准 LLM 风格 MoE 稀疏扩展模型容量，无需扩散特定的路由机制或辅助路由目标。具体而言，PixelMoE 将标准 Token-Choice（TC）路由与细粒度路由专家结合实现输入自适应稀疏计算，使用共享专家捕获通用表示，并采用基于偏置的负载均衡策略。为补充稀疏容量扩展，PixelMoE 进一步引入像素空间分层流匹配，在去噪轨迹上从全局结构形成到细粒度细节细化变化空间分辨率。在相当的活跃参数量下，PixelMoE 在各模型规模上一致优于密集对应模型，证明了像素空间有效的稀疏容量扩展。在类别条件 ImageNet-1K 上，PixelMoE 在 256x256 和 512x512 分辨率分别取得 1.47 和 1.53 的 FID 分数，无需表示对齐或感知损失，与领先的像素空间和潜在空间生成模型相比毫不逊色。

原文摘要

Pixel-space diffusion models provide an appealing alternative to latent-space diffusion models by directly modeling raw images without relying on a learned tokenizer. However, scaling pixel-space models has predominantly followed dense strategies, tightly coupling model capacity with active computation. In this work, we show that standard LLM-style Mixture-of-Experts (MoE) architectures can be effectively transferred to pixel-space diffusion. Building on this finding, we introduce PixelMoE, a pixel-space generative framework that sparsely scales model capacity with standard LLM-style MoE, without diffusion-specific routing mechanisms or auxiliary routing objectives. Specifically, PixelMoE combines standard Token-Choice (TC) routing with fine-grained routed experts for input-adaptive sparse...

自动采集于 2026-10-15

#论文 #arXiv #CV #小凯