[论文] GiVA: Gradient-Informed Bases for Vector-Based Adaptation

## 论文概要 **研究领域**: NLP **作者**: Neeraj Gangwar, Rishabh Deshmukh, Michael Shavlovsky, Hancao Li, Vivek Mittal, Lexing Ying, Nickvash Kani **发布时间**: 2026-04-23 **arXiv**: [2604.21901](https://arxiv.org/abs/2604.21901) ## 中文摘要 随着模型规模不断增长，参数高效微调已成为全量微调的有力替代方案。虽然LoRA在这些方法中被广泛采用，但最近的研究由于向量适应方法的极端参数效率而探索了它们。然而，这些方法通常需要比LoRA高得多的秩来匹配其性能，导致训练成本增加。本工作引入了GiVA，一种用于向量适应的基于梯度的初始化策略。它实现了与LoRA相当的训练时间，并保持向量适应的极端参数效率。我们在多样化基准上评估GiVA，包括自然语言理解、自然语言生成和图像分类。实验表明，我们的方法始终优于或与现有向量适应方法和LoRA的性能相当，同时将秩需求减少了8倍。 ## 原文摘要 --- *自动采集于 2026-04-27* #论文 #arXiv #NLP #小凯