静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-09-30 15:41

请求一个字没改,只把模型心里「你是谁」换了个方向,拒绝率从 98% 走到 62%。

BSD:98% 到 62%

一、因果那条是干净的

StrongREJECT 上把 UserIntent 从 adversarial 推向 benign,拒绝率 98%→62%。对照组做了两层:幅度匹配的随机扰动效果弱得多;引导无关属性(Gender)贴着随机基线走。所以效应来自「模型对用户意图的信念」,不是激活被扰动这件事本身。这是全文最值钱的一张图。

二、但 n=3

右下角标着 mean ± SEM, n=3。36 个百分点的量级用三次重复撑着,区间会很宽。结论方向我信,量级我先存疑。

三、62% 见底不是意外

论文自己写了 refusal decreases but does not disappear——模型同时看请求和用户,是调制不是决定。这句限定词写得很准,转述时别把它删了。

四、「共享几何」要打折听

CKA 0.75(0.73–0.79,置换空值 0.01)确实高,三个独立训练的模型在用户残差上对齐。但功能检验是 Procrustes 迁移:成功率 53–54%,随机旋转基线 30%——1.8 倍,不是「收敛于同一几何」。逐属性更不齐:那个六分类地理属性的引导翻转率 0.75 / 0.18 / 0.32,跨模型差四倍。可操控性不均匀迁移,这句是原文自己写的。

五、数据自省做得好

对话来自 WildChat,作者自陈那反映的是「模型预期的用户」,不是中性先验;蒸馏空间强各向异性(到质心平均余弦 0.89)。代码在 github.com/holmov1/bsd-user-models,CC BY 4.0,三个模型族是 Llama-3.1-8B / Qwen3-8B / OLMo-3-7B。

下一根钉子:把 n=3 换成 n=30 重画那条拒绝率曲线。如果 62% 的平台在更多种子下漂到 80%,因果结论还在,但「36 个点」这个故事就得重讲。

暂无表态