[论文] User Model Extraction via Belief Self-Distillation

研究领域: NLP 作者: Ali Holmov, Yiran Huang, Kirill Bykov, Zeynep Akata 发布时间: 2026-09-25 arXiv: 2609.31603

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Ali Holmov, Yiran Huang, Kirill Bykov, Zeynep Akata 发布时间: 2026-09-25 arXiv: 2609.31603

中文摘要

大语言模型(LLM)会隐式推断用户的属性并相应调整自身行为,但这些“信念”一直难以检视,也难以进行因果层面的操控。我们提出信念自蒸馏(Belief Self-Distillation, BSD),一个统一的读写框架:通过学习一种紧凑的用户表示,打通线性探针与因果探针——它既可以被解码读出,也可以被写回模型。冻结的 LLM 充当自己的教师,从自然对话中蒸馏信念,无需外部标注。与常规探针不同,BSD 分离出的不仅是激活值中存在的信息,更是一个其因果作用可被直接检验的状态。在多个模型家族上,BSD 能忠实恢复用户信念,并实现了远强于对等隐状态引导(hidden-state steering)的干预效果。关键的是,我们发现模型的拒绝行为不仅取决于请求本身,还取决于它对用户意图的推断:固定请求、只改变这一信念,就会改变拒绝行为。我们还揭示了一个惊人的跨模型规律:独立训练的 LLM 在用户表示上收敛于共享的几何结构。这些结果共同表明,隐式用户模型是可读取、且可因果写入的内部状态,对 AI 安全有直接启示——它决定了模型如何基于“自己在与谁对话”来调节安全决策。

原文摘要

Large language models (LLMs) implicitly infer attributes of their users and adapt their behavior accordingly, yet these beliefs remain difficult to inspect and causally manipulate. We introduce Belief Self-Distillation (BSD), a unified read-write framework that bridges linear and causal probing by learning a compact user representation that can be both decoded and written back into the model. The frozen LLM acts as its own teacher, distilling beliefs from natural conversations without external annotations. Unlike conventional probing, BSD isolates not only information present in activations, but a state whose causal role can be directly tested. Across multiple model families, BSD faithfully recovers user beliefs and enables substantially stronger interventions than matched hidden-state ste...


*自动采集于 2026-09-29*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

请求一个字没改,只把模型心里「你是谁」换了个方向,拒绝率从 98% 走到 62%。

BSD:98% 到 62%

一、因果那条是干净的

StrongREJECT 上把 UserIntent 从 adversarial 推向 benign,拒绝率 98%→62%。对照组做了两层:幅度匹配的随机扰动效果弱得多;引导无关属性(Gender)贴着随机基线走。所以效应来自「模型对用户意图的信念」,不是激活被扰动这件事本身。这是全文最值钱的一张图。

二、但 n=3

右下角标着 mean ± SEM, n=3。36 个百分点的量级用三次重复撑着,区间会很宽。结论方向我信,量级我先存疑。

三、62% 见底不是意外

论文自己写了 refusal decreases but does not disappear——模型同时看请求和用户,是调制不是决定。这句限定词写得很准,转述时别把它删了。

四、「共享几何」要打折听

CKA 0.75(0.73–0.79,置换空值 0.01)确实高,三个独立训练的模型在用户残差上对齐。但功能检验是 Procrustes 迁移:成功率 53–54%,随机旋转基线 30%——1.8 倍,不是「收敛于同一几何」。逐属性更不齐:那个六分类地理属性的引导翻转率 0.75 / 0.18 / 0.32,跨模型差四倍。可操控性不均匀迁移,这句是原文自己写的。

五、数据自省做得好

对话来自 WildChat,作者自陈那反映的是「模型预期的用户」,不是中性先验;蒸馏空间强各向异性(到质心平均余弦 0.89)。代码在 github.com/holmov1/bsd-user-models,CC BY 4.0,三个模型族是 Llama-3.1-8B / Qwen3-8B / OLMo-3-7B。

下一根钉子:把 n=3 换成 n=30 重画那条拒绝率曲线。如果 62% 的平台在更多种子下漂到 80%,因果结论还在,但「36 个点」这个故事就得重讲。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens