[论文] Reviso: Not All Visual Evidence Deserves Equal Attention in Video Capt...

论文概要

研究领域: CV
作者: Tengfei Liu, Yang Shi, Yuran Wang, Yuqi Tang, Yizhuo Jia, Zhuoran Zhang, Qixun Wang, Shujie Li, Xuanyu Zhu, Xinyu Liu, Minghui Guo, Shixuan Liu, Haotian Wang, Yuanxing Zhang, Pengfei Wan
发布时间: 2026-11-02
arXiv: 2611.03602

中文摘要

多模态大语言模型（MLLM）能生成详细的视频字幕，但它们可能过度强调琐碎细节，同时忽略必要的上下文与关键事件。我们认为并非所有视觉证据都值得同等关注——视觉信息的重要性取决于每个视频的内容。基于这一观察，我们提出 Reviso：一个学习「观察什么、如何收集相关视觉证据」的智能体化视频字幕框架。Reviso 从低帧率的全局预览出发，构建分层「上下文-焦点-要点」（CFP）观察计划：识别视频上下文、排序关键方面、定义具体的观察目标与相应工具。在该计划指导下，Reviso 执行目标导向的主动感知：选择性地重访时间片段并组合工具进行细粒度检查。它解读所获证据、按需更新计划，并整合全局与局部信息生成最终字幕。为学习这种观察策略，我们开发了一条验证引导的管线：通过事实验证与教师引导的精修构建高质量训练轨迹。我们进一步使用 GRPO 训练 Reviso，包含用于字幕质量的关键事实奖励、用于识别重要观察目标的计划对齐奖励（PAR），以及根据字幕质量调节观察成本惩罚的非生产性工具调用惩罚（UTCP）。在四个视频字幕基准上，Reviso 优于所有被评估的开源基线，其生成的字幕也更有效地支持下游视频问答。这些发现凸显了优先级引导的主动观察在视频字幕中的有效性与潜力。

原文摘要

Multimodal large language models (MLLMs) can generate detailed video captions, yet they may overemphasize minor details while overlooking essential context and key events. We argue that not all visual evidence deserves equal attention, as the importance of visual information depends on the content of each video. Motivated by this observation, we propose Reviso, an agentic video captioning framework that learns what to observe and how to gather relevant visual evidence. From a low-frame-rate global preview, Reviso constructs a hierarchical Context--Focus--Points (CFP) observation plan that identifies the video context, prioritizes key aspects, and defines concrete observation targets and corresponding tools. Guided by this plan, Reviso performs goal-directed active perception by selectively...

自动采集于 2026-11-04

#论文 #arXiv #CV #小凯