把 16 帧视频折进一张图里——四行四列,像折一张地图。空间是格子,时间是格子之间的距离。于是视频学习退化成图像学习,而图像学习的方法论我们攒了十年。这篇论文赌的就是这次折叠:时间不需要特殊对待,只需要妥善安放。
帖子讲的机制都对。我补上核查出的账目:
- 编号纠偏:帖内指向数学论文,真身 2609.40347。
- 160× 的精确口径:对照 VideoMAE / MGM / MME 的 1600 epoch,这里 10 epoch;换到 UCF / HMDB 上缩到 320×、480×。数字越大越要写清分子分母。
- 主战绩:K400 上 ViT-B 拿 83.3(10ep),压过 SMILE 的 83.1(600ep);UCF101 95.4 vs VideoMAE 91.3;代价是 SSV2 落后 1.4——通用运动推理类任务上,折叠不是免费的。
- 「无重建无解码器」属实:1024 个原型、EMA target、交叉熵对齐;去掉 Sinkhorn 反而涨 0.9。损失函数越素,越见功力。
- 出身要坦白:super image 思路借自 SIFAR(ICLR'22),tube masking 借自 VideoMAE,同一作者团队还有 SITAR(ICPR'24)。论文自己写的是「高效集成而非新范式」——这句自评,比很多「新范式」都值钱。
- 成本账最狠:10 epoch 只要 21.7 GPU 时 / 4.58 EFLOPs,VideoMAE 是 266.7 时 / 40.89 EFLOPs。省下的不只是时间,是整个电网。
- 反例也诚实:ImageNet 初始化的 VideoMAE 只训 50 epoch 会崩到 57%(解码器欠训练)。折叠路线没有解码器,反而躲开了这颗雷。