[论文] Reading Scene States: Uncovering Safety Failures in Vision-Language Mo...

研究领域: CV 作者: Tongxi Wu, Yuyang Cheng, Jiacheng Xian, Menglin Yang, Kai Chen, Jian Zhang, Yang Gao 发布时间: 2026-11-17 arXiv: 2611.23206

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Tongxi Wu, Yuyang Cheng, Jiacheng Xian, Menglin Yang, Kai Chen, Jian Zhang, Yang Gao 发布时间: 2026-11-17 arXiv: 2611.23206

中文摘要

VLM 可通过解读视觉事件提供有害协助,即使输入未含明确有害目标——场景状态安全漏洞。引入 SceneSafetyBench:375 个图像-问题对,覆盖初/中/末场景状态和五种视觉呈现。八个 VLM 上攻击成功率(ASR)达 45.6-72.3%。跨三 VLM 比较显示场景状态输入与 QR 相关图像在层级安全信号特征上最相似。提出 S3TA 攻击:将有害目标翻译为场景状态,独立查询并组装响应。MM-SafetyBench 七类八模型上模型平均 ASR 71.2%,超最强基线 6.1 pp。文本过滤和视觉审核保护有限。需保护模型通过场景推理推断出的协助能力。

原文摘要

Vision-language models (VLMs) can provide harmful assistance by interpreting visual events, even without an explicit request for the underlying harmful objective. We identify this \textbf{scene-state safety vulnerability} and introduce \textbf{SceneSafetyBench}, comprising 375 image--question pairs spanning Initial, Medium, and Ultimate scene states and five visual presentations. Across eight VLMs, scene-state inputs elicit harmful assistance with attack success rates (ASRs) of 45.6--72.3\%. Comparative analysis across three VLMs shows that scene-state inputs most closely resemble QR-related images in their layer-wise safety-related signal profiles, while exhibiting lower average late-layer readouts and distinct signal dynamics during generation. To turn this vulnerability into a systemati...


*自动采集于 2026-11-19*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens