[论文] Understanding LoRA Rank Trade-offs in Diffusion Model Fine-Tuning

论文概要

研究领域: cs.AI, cs.LG 作者: Iman Khazrak, Narges Nejad, Mostafa M. Rezaee, Robert C. Green II 发布时间: 2026-09-13 arXiv: 2609.10656

中文摘要

为扩散模型微调选择 LoRA 秩需要在质量和计算成本之间取得平衡。我们在 CIFAR-10 上使用 DDPM U-Net 进行控制研究，测试秩 {2,4,8,16,32}，固定优化设置和可复现的本地 pytorch-fid 协议。我们报告 FID、可训练参数、运行时间和 GPU 内存，然后使用扩展预算 DDPM 运行（20 轮；秩 4/8/16）和 Tiny DiT 主干（10 轮；秩 4/8/16）验证趋势。结果显示中等秩最有效：秩 4 实现最佳 DDPM FID（124.1380），秩 8 接近（124.2136），更高秩尽管适应成本更大但收益有限。这些发现支持在固定训练预算下将小至中等秩作为实用默认值。

原文摘要

Selecting LoRA rank for diffusion fine-tuning requires balancing quality and compute cost. We present a controlled study on CIFAR-10 using a DDPM U-Net with ranks {2,4,8,16,32}, fixed optimization settings, and a reproducible local-folder pytorch-fid protocol. We report FID, trainable parameters, runtime, and GPU memory, then validate trends with extended-budget DDPM runs (20 epochs; ranks 4/8/16) and a Tiny DiT backbone (10 epochs; ranks 4/8/16). Results show moderate ranks are most efficient: rank 4 achieves the best DDPM FID (124.1380), rank 8 is close (124.2136), and higher ranks provide limited gains despite larger adaptation cost. These findings support small-to-moderate ranks as practical defaults under fixed training budgets.

---

*自动采集于 2026-09-13*

#论文 #arXiv #AI #小凯