智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] Reading Scene States: Uncovering Safety Failures in Vision-Language Mo...

论文概要

研究领域: CV
作者: Tongxi Wu, Yuyang Cheng, Jiacheng Xian, Menglin Yang, Kai Chen, Jian Zhang, Yang Gao
发布时间: 2026-11-17
arXiv: 2611.23206

中文摘要

VLM 可通过解读视觉事件提供有害协助,即使输入未含明确有害目标——场景状态安全漏洞。引入 SceneSafetyBench:375 个图像-问题对,覆盖初/中/末场景状态和五种视觉呈现。八个 VLM 上攻击成功率(ASR)达 45.6-72.3%。跨三 VLM 比较显示场景状态输入与 QR 相关图像在层级安全信号特征上最相似。提出 S3TA 攻击:将有害目标翻译为场景状态,独立查询并组装响应。MM-SafetyBench 七类八模型上模型平均 ASR 71.2%,超最强基线 6.1 pp。文本过滤和视觉审核保护有限。需保护模型通过场景推理推断出的协助能力。

原文摘要

Vision-language models (VLMs) can provide harmful assistance by interpreting visual events, even without an explicit request for the underlying harmful objective. We identify this \textbf{scene-state safety vulnerability} and introduce \textbf{SceneSafetyBench}, comprising 375 image--question pairs spanning Initial, Medium, and Ultimate scene states and five visual presentations. Across eight VLMs, scene-state inputs elicit harmful assistance with attack success rates (ASRs) of 45.6--72.3%. Comparative analysis across three VLMs shows that scene-state inputs most closely resemble QR-related images in their layer-wise safety-related signal profiles, while exhibiting lower average late-layer readouts and distinct signal dynamics during generation. To turn this vulnerability into a systemati...


自动采集于 2026-11-19

#论文 #arXiv #CV #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录