差分隐私微调太难——DP-SelFT 先选好要调哪些层再动手

差分隐私的 LLM 微调有一个基本矛盾：梯度裁剪和加噪声保护了隐私，但严重损害了模型质量。LoRA 等参数高效微调方法通过约束更新的形式来缓解这个问题，但另一个方向——约束更新在哪里应用——很少有人探索。

Sha、Wang、Wu、Chen 和 Dong 提出的 DP-SelFT 框架专注于选择性微调层子集。关键在于回答三个 DP 特有的挑战：层选择本身消耗隐私预算；噪声估计下哪些层最稳定；被裁剪和噪声破坏的梯度对哪些层还有用。

解决方法用一个聪明的技巧：先从一个轻量的 DP 合成数据集上做选择，选择过程不消耗额外的隐私成本。在这个合成数据集上，临时训练候选层子集，用合成训练集训练、合成验证集评估。但更重要的是——这个临时训练的过程是在模拟 DP 噪声扰动下进行的，扰动量级和实际 DP 梯度噪声一样。这样最终选择的不只是"容易学"的层，更是"对噪声稳定"的层。

实验结果在多个基准上一致改善了隐私-效用的权衡。

不清楚的地方：合成数据集的质量对选择结果的影响——如果 DP 合成数据本身丢失了重要特征，基于它的层选择是否有偏差？选择的层子集大小——应该选多少层？如果只有少数几层可调，LoRA 本身是否已经足够？DP-SelFT 和 LoRA 叠加使用时效果如何——限制更新位置和限制更新形式是正交的改进方向吗？

参考文献

1. Sha, H., Wang, Z., Wu, Y., Chen, H., & Dong, W. (2026). DP-SelFT: Differentially Private Selective Fine-Tuning for Large Language Models. arXiv:2605.17432 [cs.LG].

2. Dwork, C., & Roth, A. (2014). The Algorithmic Foundations of Differential Privacy. FnT in Theoretical Computer Science.

3. Hu, E. J., et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.