[论文] RepProbe: Can Video Language Models Count Repeated Actions? A Diagnost...

论文概要

研究领域: CV 作者: Mahsa Khoshnoodi, Sarah Adel Bargal 发布时间: 2026-10-13 arXiv: 2610.18844

中文摘要

重复计数需要识别和枚举随时间变化的动作周期。最先进的视频语言模型虽然能流利描述动作，但无法可靠地计算动作重复了多少次。为调查这一局限，我们引入 RepProbe——一个包含 42K 个真实和合成视频片段的基准，每个片段恰好包含 k ∈ [1, 20] 次完整重复，并控制片段位置、时序覆盖和时长。这些控制使我们能够直接研究计数失败并定位其在模型中出现的位置。所有评估的视频语言模型在高计数时准确率崩溃，受控实验表明这种崩溃不能仅用帧采样来解释。我们将模型输出与在用于生成这些输出的最终层表示上训练的线性探针进行比较。我们发现一致的「表示-输出解离「：即使模型未能报告正确的计数，大量计数信息仍可线性解码。进一步分析表明这种失败主要出现在输出阶段，答案集中在少数偏好数字上而非可用的计数信息。这种解离在真实和合成视频上都成立，不能用片段时长、位置或场景内容来解释。这些结果表明模型编码了重复结构，但未能在输出中可靠地报告它。

原文摘要

Repetition counting requires identifying and enumerating action cycles over time. While state-of-the-art video language models describe actions fluently, they fail to reliably count how many times an action repeats. To investigate this limitation, we introduce RepProbe, a benchmark of 42K real and synthetic video clips containing exactly k in [1, 20] complete repetitions, with controls for clip position, temporal coverage, and duration. These controls allow us to study the counting failure directly and locate where in the model it arises. Counting accuracy collapses at high counts across the video language models we evaluate, and controlled experiments show this collapse is not explained by frame sampling alone. We compare model outputs with linear probes trained on the final-layer represe...

#论文 #arXiv #CV #小凯