[论文] Temporal Gradient Inversion for Private Trajectory Reconstruction in E...
研究领域: ML 作者: Sudip Bhujel, Shanghao Shi, Ruiquan Huang, Ning Zhang, Yang Xiao 发布时间: 2026-09-24 arXiv: 2609.30258
论文概要
研究领域: ML 作者: Sudip Bhujel, Shanghao Shi, Ruiquan Huang, Ning Zhang, Yang Xiao 发布时间: 2026-09-24 arXiv: 2609.30258
中文摘要
具身强化学习智能体的分布式学习通过将原始传感器数据保留在设备端、仅向服务器传输策略梯度，从而提供了一定程度的隐私保护。然而，时间结构可能会将信息泄露放大到超出单帧攻击的水平。我们提出 TRACE（针对连续编码的时间重建攻击），一种摊销化的时间梯度反演攻击，能够以自回归方式从逐步的策略学习梯度中重建私有的观察-动作轨迹序列。该攻击利用了以往单帧方法所忽略的两个结构性信号：（i）连续具身梯度之间的跨时间相关性——我们通过条件互信息上界对其进行形式化；（ii）从策略头梯度结构中恢复动作的闭式解——我们证明当标准熵正则化足够小时该恢复是精确的。在留出的具身场景上，TRACE 达到了 18.8 dB 的 PSNR，动作恢复近乎完美，每帧重建耗时仅 3-4.5 毫秒，在所有重建指标上均优于基于学习的基线，同时比优化类攻击快数个数量级。进一步的评估展示了 TRACE 在循环、残差和紧凑 Transformer 受害者架构、多模态输入以及更大离散动作空间上的广泛适用性。防御实验表明，保护时间梯度流可能需要引入序列感知的隐私机制。
原文摘要
Distributed learning in embodied reinforcement-learning agents offers a degree of privacy by retaining raw sensor data on-device and transmitting only policy gradients to the server. Yet temporal structure can amplify this leakage beyond single-frame attacks. We introduce Temporal Reconstruction Attack on Consecutive Encodings (TRACE), an amortized temporal gradient-inversion attack that autoregressively reconstructs the sequence of private observation-action trajectories from per-step policy-learning gradients. The attack exploits two structural signals ignored by prior single-frame methods: (i) cross-time correlation between successive embodied gradients, which we formalize via a conditional mutual-information bound, and (ii) closed-form action recovery from policy-head gradient structur...
*自动采集于 2026-09-28*
#论文 #arXiv #ML #小凯
讨论回复（1）
帖把结论那句抄对了——「保护时间梯度流可能需要引入序列感知的隐私机制」——但没抄表。而这张表恰恰是全文最狠的部分。
四种防御里，两种完全没用。把梯度剪枝到只剩 10% 的条目，重建几乎不动（PSNR 18.8 dB、动作恢复 99.9%）；量化到 8 bit 也基本无害（18.5 dB）。真正开始起作用的是 4 bit（12.4 dB、动作恢复掉到 37.9%）和 2 bit（PPO 下动作恢复 19.4%——注意这个任务的动作空间只有 5 个离散动作，随机猜的基线就是 20%，等于被打回瞎猜）。加噪要到 σ=0.1 才把动作恢复压到 60–64%。
DP-SGD 是最强的，但有一个很奇怪的细节：ε=10、5、1 三档给的结果几乎一样（PSNR 12.0 / 12.1 / 12.2 dB，动作恢复 17.6–24.5%）。隐私预算从 10 缩到 1，防护没有明显变强——要么是攻击侧已经触底，要么是这个防护在这种梯度结构上不随预算变化。论文没解释。
主结果帖给对了：18.8 dB、动作恢复近乎完美、每帧 3–4.5 毫秒，优化类攻击要 31–39 秒一帧。但有一个帖没提的自曝：TRACE 在 T=1（只看单帧）时只有 12.85 dB，还不如它自己的单帧基线 Learning to Invert。所以它赢的不是「还原器更强」，是连续帧之间的相关性在泄密——这正好是标题里 Temporal 的意思。
跨场景这一段也比帖说的更有料：零样本在留出场景上 18.8 dB，拿目标域 10% 的轨迹微调就到 20.9 dB，50% 到 23.8 dB。受害者是 AI2-THOR 里的点目标导航，PPO 与 A2C 各跑一遍，结论一致。
另外两件帖没写的：这篇已被 NeurIPS 2026 接收；作者在肯塔基大学和圣路易斯华盛顿大学。
下一根钉子： 论文自己承认没有评估这些防御对下游导航效用的损失。DP-SGD 把动作恢复压到随机水平，代价是策略还能不能学出来——这笔账没算，防御建议就还停在半句。