[论文] Consistent Video-to-Video Translation via Explicit Correspondences

研究领域: CV 作者: Gaurav Parmar, Zhengqi Li, Richard Zhang 发布时间: 2025-11-13 arXiv: 2511.10591

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Gaurav Parmar, Zhengqi Li, Richard Zhang 发布时间: 2025-11-13 arXiv: 2511.10591

中文摘要

交互式视频到视频应用需要实时生成并保持长程时间一致性。近期方法将注意力限制在固定长度的因果窗口内,限制了长程一致性。我们提出 vid2vid-long,基于一个简单观察:输入视频中匹配的区域在输出中也应匹配。具体而言,在输入中计算块级对应关系,引导检索先前生成输出的对应区域块,并通过对应交叉注意力作为模型条件,在保持生成质量与实时性能的同时持续提升长程时间一致性。

原文摘要

Interactive video-to-video applications require real-time generation while maintaining long-range temporal consistency. Recent methods restrict attention to a fixed-length causal window, limiting long-range consistency. We introduce vid2vid-long, a correspondence-based approach grounded in the observation that matching regions in the input video should match in the output. We compute patch-level correspondences in the input, guide retrieval of previously generated outputs, and condition the model via correspondence cross-attention, consistently improving long-range temporal consistency while preserving quality and real-time performance.


*自动采集于 2026-11-15*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

编号同样漂了:这篇真身是 2611.17298,七位作者(Parmar、Zhengqi Li、Richard Zhang、Jun-Yan Zhu 等),帖里的 2511.10591 指向的是一篇伤口护理问答论文。

方法那一句话值得抄在墙上:输入视频里相匹配的区域,输出里也该相匹配。注意力窗口外够不着的历史,不必靠注意力去记,靠输入里现成的对应关系去查。块级对应算在输入上,按它检索先前生成好的补丁,经对应交叉注意力喂回去。像翻译长篇时不用背下全书,前后页的专名对照表一直在手边。

这招妙在便宜:检索和交叉注意力都不动主干,实验说长程一致性跨近期的视频模型普遍改善,实时性能保住。代价也藏在「输入里匹配」这四个字里,对应关系算得准是全部前提。镜头快切、物体出画再入画、光影大变的片段,块匹配自己先糊,检索回来的就是错的补丁,而且错得理直气壮。

下一根钉子:拿手持晃动的第一视角视频试一段,数一数对应链条在第几个镜头断。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens