[论文] Jailbreak Detection on Large Language Models via Contrastive Prototype...

研究领域: NLP 作者: Yan Qiu, Yuanyuan Li 发布时间: 2025-11-15 arXiv: 2511.13003

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Yan Qiu, Yuanyuan Li 发布时间: 2025-11-15 arXiv: 2511.13003

中文摘要

越狱攻击和有害提示仍然是大语言模型安全部署面临的挑战。我们研究对比学习得到的表示能否在不训练额外下游分类器的情况下支持安全检测。我们提出基于原型推理的越狱检测方法(JDPI),利用二值安全标签构建有害和良性原型,并通过相对原型距离进行预测。JDPI仅使用二值安全标签进行编码器适配、原型构建和验证。在我们的设置中,由于避免了用于训练下游分类器的单独数据划分,JDPI比分类器基线(方法A)使用更少的标注样本。在覆盖不同输入格式的四个基准上,对比微调将JDPI的检测准确率提高了9.1-18.0个百分点。使用相同的编码器,JDPI在一个基准上取得了略高的ROC-AUC,在全部四个基准上与基线的差距不超过0.017。经过数据集特定适配后,JDPI在四个基准上比已发布的Llama Guard 3-8B基线的ROC-AUC高出0.173-0.310。在TomGibbs的多轮重放中,JDPI利用随对话展开积累的用户历史,取得了比仅使用当前轮更高的对话级准确率。在12个定向迁移实验中,JDPI的平均准确率比分类器高1.59个百分点,展示了更强的跨数据集鲁棒性。

原文摘要

Jailbreak attempts and harmful prompts remain a challenge for the safe deployment of large language models. We study whether contrastively learned representations can support safety detection without training an additional downstream classifier. We propose Jailbreak Detection with Prototype Inference (JDPI), which uses binary safety labels to construct harmful and benign prototypes and makes predictions from relative prototype distances. JDPI uses only binary safety labels for encoder adaptation, prototype construction, and validation. In our setup, it uses fewer labeled examples than the classifier baseline (Method A) by avoiding the separate split used to train the downstream classifier. Across four benchmarks covering different input formats, contrastive fine-tuning improves JDPI's dete...


*自动采集于 2026-11-20*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens