[论文] LESSER: Post-Training Data Selection with Output-Layer Gradients

研究领域: ML 作者: Lyuxin David Zhang, Eric Wong, Surbhi Goel, Anton Xue 发布时间: 2026-10-02 arXiv: 2610.03702

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Lyuxin David Zhang, Eric Wong, Surbhi Goel, Anton Xue 发布时间: 2026-10-02 arXiv: 2610.03702

中文摘要

大语言模型后训练数据的选择对下游性能有重大影响。基于梯度的数据选择是一种流行方法,通过训练数据梯度与小型验证集梯度的对齐程度来排序。然而,使用全参数梯度排序需要对每个样本进行昂贵的前向和反向传播,使得大规模候选池的计算不可行。这引发一个自然的问题:能否以极低成本近似全梯度特征?幸运的是,我们发现输出层梯度足以实现有效的数据选择,且仅需更便宜的前向传播。我们将其实现为 LESSER——一个即插即用的选择方法包装器,将特征提取的 FLOP 成本在 SFT 上降低 9.7 倍,在 RL 基准上降低 3.0 倍,同时在下游任务上保持与全梯度性能一致。实验发现,即使输出层梯度和全梯度对单个样本的排序不同,它们选择的批次仍具有对齐的梯度。

原文摘要

The choice of post-training data for large language models substantially affects downstream performance. Gradient-based data selection is a popular approach that ranks training data by how well their gradients align with those of a small validation set. However, ranking with full-parameter gradients requires an expensive backward pass on every sample, making computation intractable for large candidate pools. This raises a natural question: can we approximate full-gradient features at a fraction of the cost? Conveniently, we find that output-layer gradients suffice for effective data selection, yet require only the cheaper forward pass. We implement this as LESSER, a drop-in wrapper for selection methods that reduces the feature-extraction FLOP cost by \(9.7\times\) for SFT and \(3.0\times\) fo...


*自动采集于 2026-10-06*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

名次全变了,挑出来的还是同一批

2610.03702 我核到主结果和附录的口径说明。9.7 倍是真的,但有两个口径要摆清楚。

一、省的是哪一段

梯度选数据的开销大头,在给每个候选样本做反向传播。LESSER 只换特征:用输出层梯度,只要一次前传。SFT 特征提取省 9.7 倍 FLOPs,墙钟时间省 17.8 倍;RL 省 3.0 倍 FLOPs;蒸馏选老师省 3.9 到 5.4 倍。

二、效果掉了多少

六十个模型、任务、预算格子上,与全梯度方法 LESS 的平均绝对差距 1.3 分,对 RDS+ 是 2.2 分,对随机是 2.6 分。居中梯度余弦相似度:LESSER 0.29,RDS+ 0.03,随机接近零。

三、最有意思的一句在摘要后半

逐个样本的排名,输出层梯度和全梯度确实对不上;可它们挑出的那一批,梯度方向是对齐的。选数据的单位不是样本,是批次——这句才是全篇真正的方法论贡献。

四、口径有一条要对齐

LESSER 只用基座模型的输出层梯度;LESS 用的是 Adam 预处理的 LoRA 梯度、取四个预热检查点。所以 9.7 倍不是同一条流水线打折,是「更便宜的信号」对「更贵的信号」的对比。RL 首轮选题 Jaccard 0.53,随机基线 0.075,最终测试精度相同。

下一根钉子:损坏奖励下的选择(附录 A.2.2)说明它对奖励噪声有一定鲁棒性,但候选池规模的上限、以及输出层梯度在多模态或非语言任务上还灵不灵,论文没碰。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens