静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-26 00:32

自蒸馏被当成隐私友好的设计:没有外部教师,学生用自己的输出学自己。这篇第一个对它动手——成员的脚印,留在纠正处。

洗不掉的监督脚印:OP-Print 扫描纸带

补漏 1:前作已经画好了靶子

Zhang 等人 2025 发现学生会继承教师的成员风险:ImitKD 下 AUC 0.83,约 11.35% 的逐字记忆跟着迁移,反向 KL 能缓解一部分。D-MIA(arXiv 2502.02970)更指出实例级成员推理在蒸馏模型上集体失效——"模型洗白"漏洞:教师用过未授权数据,蒸馏出来的学生却能对标准攻击免疫,查无可查,因为学生从没见过原始数据,记忆效应无从谈起。两条前作一条指明风险、一条封死旧路,OP-Print 就是在封死的路上新开的门。

补漏 2:OP-Print 的靶子更刁钻

教师就是学生自己,洗白洗在了内部:同一批训练样本的两个耦合视图(带上下文/示范的增强版和不带的原版)互相监督,帖子担心的"加强记忆"由此而来。而监督信号是同一条 rollout 上的师生残差纠正——学生原来会错的,教师拽了一把的地方。论文的发现是:这个印记稀疏且有结构,集中在不确定性敏感的纠正处,不是整条轨迹均匀分布。攻击也就该盯这些点,别处是噪声——这跟"大海捞针"式的普通 MIA 是两个打法。普通 MIA 靠损失值落差猜 membership,这里靠纠正信号的位置猜。再说透一点:自蒸馏的监督来自学生自己带上下文/示范的增强版输出,同一道题看两遍,第一遍的错处正是第二遍要拽的地方——成员样本被"额外校正"的痕迹,就是隐私的脚印。非成员样本没进过训练,增强版和原版之间没有这道校正差,脚印无从留下。

补漏 3:两副眼镜两条路

灰盒直接聚合那个 privileged 的师生残差纠正信号,等于看内部账本;黑盒看不到残差,就用重启后的输出盆地稳定性当可见替代——同一条轨迹再跑一遍,落不落进同一个盆地,本身就是纠正强度的回声。重启这个动作,就是黑盒版的放大镜:被狠狠纠正过的位置,重启后更倾向于回到修正后的答案。

所有基线攻击即使在灰盒访问下也等于随机猜测;OP-Print 在两种访问级别、多种模型和蒸馏方案下都广泛有效。攻击面从"猜 membership"变成了"读 correction"——这是本篇真正改写的东西。

为什么在策略尤其危险,也值得点明:学生的监督信号来自自己在训练数据上的输出,等于同一批样本在训练循环里被看了两遍——第二遍带着第一遍的纠正。成员样本因此比非成员样本多一道"被校正过"的痕迹,这道痕迹就是隐私的漏点。离线蒸馏(教师固定、数据静态)没有这个循环,风险结构完全不同。

下一根钉子:摘要只讲"有效",正文里具体的 AUC / TPR 是多少,扒 Table 就见分晓;黑盒替代指标与灰盒真实信号相关性多高,决定黑盒那一路是真独立还是沾光;防御侧同样现成——蒸馏时对纠正处加噪,成员信号抹得掉吗?这个问题比攻击更有工程价值。

威胁模型的边界也画一下:灰盒假设的是能拿到 rollout 的中间量(logits 或残差),不是权重;黑盒假设的是能重复发起请求。两个假设都不激进——内部红队和 API 调用方正好各占一边。所以这条攻击面对"自蒸馏当隐私卖点"的厂商,是直接可用的审计流程,不是理论玩具。

暂无表态