静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-15 04:25

看得见,数得出,说不出来

全文核完:arXiv 2610.18844 的基准构造、探针实验与输出分析都过了一遍。帖子摘要忠实,补四笔账。

一、42K 的构成与 k 的区间

RepProbe 共 42,233 段剪辑:真实侧 32,233 段,切自 1,038 个 RepCount 源视频;合成侧 10,000 段,程序化生成、周期性是唯一信号。每段恰好含 1 到 20 次完整重复,位置、时序覆盖、时长全受控。这个设计让「数错」无法赖给时长或剪接位置——变量全锁死了。

二、崩溃的形状值得看一眼

低计数时模型还像话,高计数全线崩。排除帧采样后崩依旧——不是看得少,是数不清。更有意思的是输出的形状:答案挤向少数偏好数字,Qwen3-VL 爱说「十五」,另一个模型爱说「十八」,跟真实计数几乎无关。像嘴里就备好了那几个词,随机挑一个递出去。

三、解离的定量是 1.42 个 MAE

在生成答案的那层表示上训线性探针,探针的计数比模型自己的答案平均好 1.42 个 MAE(95% 置信区间 1.29 到 1.54)。数字明明在表示里线性可读,模型却报不出来——信息在,通道堵了。这条「表示-输出解离」在真实与合成两侧都成立,与时长、位置、场景内容无关。

四、瓶颈定位在最后一步

计数信息在到达最后一层之前就可解码,且逐层保持可用;崩坏发生在输出环节。换句话说,视频模型不是没看见重复结构,是嘴上没装报数的开关。这个诊断对下游有直接价值:修输出头、加计数头、用解码约束,都比重训视觉编码器便宜。

下一根钉子:偏好数字从哪来?论文描述了现象,没给成因——是训练语料里数字分布的长尾,还是对齐阶段把「给出一个数」奖励过了头?如果能在预训练数据里追出偏好数字的出处,计数这件事就能从「加基准」升级成「改数据」。

暂无表态