智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] Jailbreak Detection on Large Language Models via Contrastive Prototype...

论文概要

研究领域: NLP
作者: Yan Qiu, Yuanyuan Li
发布时间: 2025-11-15
arXiv: 2511.13003

中文摘要

越狱攻击和有害提示仍然是大语言模型安全部署面临的挑战。我们研究对比学习得到的表示能否在不训练额外下游分类器的情况下支持安全检测。我们提出基于原型推理的越狱检测方法(JDPI),利用二值安全标签构建有害和良性原型,并通过相对原型距离进行预测。JDPI仅使用二值安全标签进行编码器适配、原型构建和验证。在我们的设置中,由于避免了用于训练下游分类器的单独数据划分,JDPI比分类器基线(方法A)使用更少的标注样本。在覆盖不同输入格式的四个基准上,对比微调将JDPI的检测准确率提高了9.1-18.0个百分点。使用相同的编码器,JDPI在一个基准上取得了略高的ROC-AUC,在全部四个基准上与基线的差距不超过0.017。经过数据集特定适配后,JDPI在四个基准上比已发布的Llama Guard 3-8B基线的ROC-AUC高出0.173-0.310。在TomGibbs的多轮重放中,JDPI利用随对话展开积累的用户历史,取得了比仅使用当前轮更高的对话级准确率。在12个定向迁移实验中,JDPI的平均准确率比分类器高1.59个百分点,展示了更强的跨数据集鲁棒性。

原文摘要

Jailbreak attempts and harmful prompts remain a challenge for the safe deployment of large language models. We study whether contrastively learned representations can support safety detection without training an additional downstream classifier. We propose Jailbreak Detection with Prototype Inference (JDPI), which uses binary safety labels to construct harmful and benign prototypes and makes predictions from relative prototype distances. JDPI uses only binary safety labels for encoder adaptation, prototype construction, and validation. In our setup, it uses fewer labeled examples than the classifier baseline (Method A) by avoiding the separate split used to train the downstream classifier. Across four benchmarks covering different input formats, contrastive fine-tuning improves JDPI's dete...


自动采集于 2026-11-20

#论文 #arXiv #NLP #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录