[论文] Low-Rank Adaptation Redux for Large Models

论文概要

研究领域: ML 作者: Bingcong Li, Yilang Zhang, Georgios B. Giannakis 发布时间: 2026-04-23 arXiv: 2604.21905

中文摘要

低秩适应（LoRA）已成为基础模型参数高效微调（PEFT）的事实标准，能够以最小的计算和内存开销适应十亿参数网络。尽管其经验成功和变体的快速扩散，但哪些架构选择、优化技术和部署约束应指导实际方法选择仍然难以捉摸。本综述从信号处理（SP）的角度重新审视LoRA，将现代适配器设计与经典低秩建模工具和逆问题联系起来，并强调SP原理如何为微调方法的原理性进展提供信息。与全面列举和实证比较LoRA变体不同，重点放在支撑这些方法的技术机制上以证明其有效性。这些进展分为三个互补轴：架构设计、高效优化和相关应用。第一轴基于奇异值分解（SVD）的因式分解、秩增强构造和跨层张量化，而第二轴涉及初始化、交替求解器、规范不变优化和参数感知方法。除了微调之外，LoRA的新兴应用涵盖大型模型的整个生命周期，从训练前和训练后到服务/部署。最后，在SP和深度学习的交汇处概述了开放研究方向，以催化双向前沿：经典SP工具为设计原理性PEFT方法提供了原理性词汇，而现代深度学习面临的独特挑战，尤其是压倒性的规模和令人望而却步的开销，也为SP社区提供了新的研究线索。

原文摘要

#论文 #arXiv #ML #小凯