[论文] Dog-Breed Text-to-image Flow Matching from Pretraining to Fine-Tuning ...

论文概要

研究领域: CV 作者: Reyhaneh Esmailizadeh, Xingjian Leng, Zhanhao Liang, Liang Zheng 发布时间: 2026-10-13 arXiv: 2610.18870

中文摘要

我们通常认为训练文生图扩散模型需要大量算力——如果目标是全面的前沿模型，确实如此。但这种认知阻碍了初学者训练自己的模型。我们开发了 MiniDog 框架，可在四张 3090 GPU 上 55 分钟完成扩散 transformer 预训练，再用 15 分钟微调。数据方面，使用 ImageNet 的 26k 张狗图像并标注描述用于预训练，使用 FLUX.1-schnell 生成的 2k 张图像用于微调。我们预计算图像和文本特征并缓存以提升效率。架构方面，采用具有语义潜在空间的 E2E-INVAE、22M 参数的小 transformer、小型 Qwen 文本编码器和上下文条件机制。训练方面，使用 iREPA 和 EUPE 感知编码器加速。评估方面，仓库支持 FID、HPSv2 分数、PickScore 和多种 VAE 重建指标。

原文摘要

We generally perceive that training text-to-image diffusion models requires heavy compute: it is true if we aim at a comprehensive frontier model. This understanding prevents people from training their own models when getting started in the field. We develop MiniDog, a framework that enables pretraining diffusion transformers in 55 minutes and fine-tuning in another 15 minutes on four 3090 GPUs. For data, we use 26k dog images from ImageNet and caption them for pretraining and use 2k images generated by FLUX.1-schnell for fine-tuning. We precompute the image and text features and cache them for efficiency. For architecture, we use E2E-INVAE for its semantic latent space, a small transformer with 22M parameters, a small Qwen model for text encoding, and in-context conditioning. For training...

#论文 #arXiv #CV #小凯