[论文] Differentially Private Sparse Reward Estimation with Preference Feedba...

论文概要

研究领域: ML
作者: Meng Ding, Mingxi Lei, Jie Zhang, Jinyan Liu, Di Wang
发布时间: 2026-10-21
arXiv: 2610.30099

中文摘要

基于人类反馈的强化学习（RLHF）已成为大语言模型与人类价值观对齐的核心范式。然而，对敏感偏好数据的依赖需要严格的差分隐私（DP）保证，以防止用户信息泄露。现有的隐私对齐方法通常假设稠密奖励参数化，导致估计误差界限随环境模型维度 d 多项式缩放。这种依赖性在现代过参数化模型中是难以承受的，因为 d 非常巨大。在这项工作中，我们研究私有稀疏 RLHF 问题来解决这一限制，假设人类偏好（奖励模型）由远小于 d 的 s* 个相关特征的子集决定。我们在 Bradley-Terry-Luce 模型下，为基于成对偏好反馈的差分隐私稀疏奖励估计提供了第一个全面的理论框架，并为 Sample-DP 和 Label-DP 两种设定引入了高效算法。理论上，在平方 l2 参数估计误差下，我们建立了 Sample-DP 和 Label-DP 的上界。对于下界，我们证明 Sample-DP 速率是接近最优的，且 Label-DP 方法的保证在随机响应框架内无法进一步改进。实证上，我们的框架在情感生成和安全对齐基准上展示了优于稠密基线的效果，提供了显著更有利的隐私-效用权衡。

原文摘要

Reinforcement Learning with Human Feedback (RLHF) has become a central paradigm for aligning Large Language Models with human values. However, the reliance on sensitive preference data necessitates rigorous differential privacy (DP) guarantees to prevent user information leakage. Existing private alignment methods typically assume dense reward parameterizations, resulting in estimation error bounds that scale polynomially with the ambient model size d. Such dependence is prohibitive in modern overparameterized models where d is vast. In this work, we study Private Sparse RLHF problem to address this limitation, assuming that human preferences (reward model) are governed by a subset of s* << d relevant features. We provide the first comprehensive theoretical framework for differentially pri...

自动采集于 2026-10-23

#论文 #arXiv #ML #小凯