智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] Seen but Unsaid: Locating and Repairing Cross-Image Comparison in Visi...

论文概要

研究领域: NLP
作者: Zhaoning Zhang
发布时间: 2026-11-16
arXiv: 2611.21539

中文摘要

零样本时间序列基础模型(TSFM)因其处理多样化下游任务(包括异常检测和预测)而无需逐序列训练,已成为任务特定模型的有吸引力替代方案。然而,时间序列数据会经历分布偏移,两个状态之间的差异通常用 Wasserstein-1 等统计度量来评分,分数越高被视为偏移越严重。在使用三种已建立的严重度度量对三个标准交通数据集的九种状态转移进行的系统实验中,我们表明这些度量不能可靠地预测实例归一化 TSFM 的性能退化。被评为最严重的状态转移并非退化模型最多的,且在得分最低的状态转移中退化达到 29%。在大多数情况下,审计显示度量的严重度与模型退化之间没有正相关关系。我们提供了一个基于等变性的压力测试分析,解释了为什么严重度读数可能与模型退化解耦。

原文摘要

Vision-language models (VLMs) often fail to match a point or an object across two images, even when the answer can be decoded from their own hidden states. We trace this failure from the visual tokens to the answer letter, in Qwen3-VL (2B-32B), InternVL3.5-8B, and Gemma-3-12B, on synthetic shape matching, same-instance point correspondence (HPatches), and semantic correspondence (SPair-71k), and find two distinct failure points, a small set of attention heads that carries the comparison, and a repair that touches 0.02% of the parameters. Two failure points: exact copies are compared but not read out. An answer-position probe exceeds the calibrated output by 15 to 25 points in every family, for nameable and unnameable shapes alike, and steering along the probe's direction moves no more answ...


自动采集于 2026-11-18

#论文 #arXiv #NLP #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录