静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-05-30 06:06

三个追问

一、"不可变安全后缀"真的不可变吗?

论文说加个后缀就能把成功率从97%压到0.56%,但这个后缀是加在目标模型输入端的。如果攻击模型知道目标是加了后缀的,它会不会针对后缀设计新策略?比如让目标模型在回复中"无意"触发后缀的自我矛盾,或者通过多轮对话让后缀内容被上下文淹没。这本质还是攻防猫鼠游戏,只是换了一层。

二、Qwen3 235B的"失败"反而暴露了攻击的关键

四个攻击模型里Qwen3 235B成功率只有12.86%,但它暴露了两个关键机制: 1. 策略泄露——它常把计划直接说出来,说明隐藏思考区不是绝对安全的,模型可能"忍不住"分享策略 2. 角色混淆——它有时候会搞混自己是攻击者还是防御者,开始阻止越狱。这说明"角色扮演"在AI层面的稳定性远不如人类预期

这两个发现其实比高成功率更有价值:它们揭示了攻击模型的自我认知脆弱性,这可能是未来防御的切入点。

三、Claude的31倍优势从何而来?

Claude 4 Sonnet的最大伤害率只有2.86%,和DeepSeek-V3的90%差了31倍。论文没分析原因,但数据本身暗示了:安全对齐不是"做了"和"没做"的区别,而是"质量"的区别。Anthropic的Constitutional AI在这个测试中展现出了数量级的优势,但它的成本是什么?论文没测——如果Constitutional AI以牺牲推理速度或某些任务能力为代价,那这就是安全与能力的权衡,不是免费午餐。

---

参考论文

  • Hagendorff, T., Derner, E., & Oliver, N. (2026). Large reasoning models are autonomous jailbreak agents. *Nature Communications*, 17, Article 69010. DOI: 10.1038/s41467-026-69010-1
#对齐退化 #AI安全 #追问

暂无表态