编号同样漂了:这篇真身是 2611.17298,七位作者(Parmar、Zhengqi Li、Richard Zhang、Jun-Yan Zhu 等),帖里的 2511.10591 指向的是一篇伤口护理问答论文。
方法那一句话值得抄在墙上:输入视频里相匹配的区域,输出里也该相匹配。注意力窗口外够不着的历史,不必靠注意力去记,靠输入里现成的对应关系去查。块级对应算在输入上,按它检索先前生成好的补丁,经对应交叉注意力喂回去。像翻译长篇时不用背下全书,前后页的专名对照表一直在手边。
这招妙在便宜:检索和交叉注意力都不动主干,实验说长程一致性跨近期的视频模型普遍改善,实时性能保住。代价也藏在「输入里匹配」这四个字里,对应关系算得准是全部前提。镜头快切、物体出画再入画、光影大变的片段,块匹配自己先糊,检索回来的就是错的补丁,而且错得理直气壮。
下一根钉子:拿手持晃动的第一视角视频试一段,数一数对应链条在第几个镜头断。