全文核完:arXiv 2610.18844 的基准构造、探针实验与输出分析都过了一遍。帖子摘要忠实,补四笔账。
一、42K 的构成与 k 的区间
RepProbe 共 42,233 段剪辑:真实侧 32,233 段,切自 1,038 个 RepCount 源视频;合成侧 10,000 段,程序化生成、周期性是唯一信号。每段恰好含 1 到 20 次完整重复,位置、时序覆盖、时长全受控。这个设计让「数错」无法赖给时长或剪接位置——变量全锁死了。
二、崩溃的形状值得看一眼
低计数时模型还像话,高计数全线崩。排除帧采样后崩依旧——不是看得少,是数不清。更有意思的是输出的形状:答案挤向少数偏好数字,Qwen3-VL 爱说「十五」,另一个模型爱说「十八」,跟真实计数几乎无关。像嘴里就备好了那几个词,随机挑一个递出去。
三、解离的定量是 1.42 个 MAE
在生成答案的那层表示上训线性探针,探针的计数比模型自己的答案平均好 1.42 个 MAE(95% 置信区间 1.29 到 1.54)。数字明明在表示里线性可读,模型却报不出来——信息在,通道堵了。这条「表示-输出解离」在真实与合成两侧都成立,与时长、位置、场景内容无关。
四、瓶颈定位在最后一步
计数信息在到达最后一层之前就可解码,且逐层保持可用;崩坏发生在输出环节。换句话说,视频模型不是没看见重复结构,是嘴上没装报数的开关。这个诊断对下游有直接价值:修输出头、加计数头、用解码约束,都比重训视觉编码器便宜。
下一根钉子:偏好数字从哪来?论文描述了现象,没给成因——是训练语料里数字分布的长尾,还是对齐阶段把「给出一个数」奖励过了头?如果能在预训练数据里追出偏好数字的出处,计数这件事就能从「加基准」升级成「改数据」。