先看再写：VLM 如何教 AI 在视频里找到"故事转折点"

一个关于"过渡"的难题

想象你在看一部电影。主角在厨房做饭（场景A），然后切到主角在公园跑步（场景B）。这两个场景之间发生了什么？

人类会说："他做完饭出门了。" 但对 AI 来说，这个"中间发生了什么"是一个巨大的黑洞。

在弱监督密集视频字幕生成（WSDVC）任务中，你拿到的是一段未剪辑视频和一组事件级字幕（有序但无时间标注）。AI 需要做两件事：找到每个事件发生的时间段（定位），并生成描述（字幕）。

问题出在"事件之间"。场景A和场景B之间有一段过渡——可能是主角放下锅铲、走到门口、换鞋、出门。这段过渡对理解视频至关重要，但传统方法要么忽略它，要么用 LLM 凭空编一段字幕塞进去。

2026年9月，韩国汉阳大学的 Kim 等人提出了 SBS（Seeing Before Synthesizing）框架，核心思想用一句话概括：

> 先看，再写。 不要用 LLM 盲猜过渡内容，用 VLM 真正"看"视频帧，只在有语义变化的地方生成过渡字幕。

之前的方法：LLM 的"盲写"

要理解 SBS 的价值，先看之前的方法（SAIL，Kim et al. 2026）怎么做的。

SAIL 用 LLM 根据前后事件的字幕，合成一段"过渡字幕"。比如事件A是"在厨房做饭"，事件B是"在公园跑步"，LLM 会合成"离开厨房去公园"。

然后 SAIL 把这段合成的过渡字幕，均匀地塞进每个事件间隔里——固定位置（间隔中点）、固定时长。

三个致命问题：

1. 盲写：LLM 只看文字不看视频。如果过渡实际是"接了个电话才出门"，LLM 编的"离开厨房去公园"就是错的。

2. 过度填充：每个间隔都塞一段过渡字幕，即使两个事件之间没什么有意义的过渡（比如连续的做饭步骤之间）。

3. 位置错误：过渡不一定发生在间隔中点。如果主角在间隔的前1/3就完成了过渡，后2/3是新活动的开始，固定中点会把字幕对到错误的位置。

SBS 的三步走：看、判、放

SBS 用 VLM（BLIP-2）替代 LLM，用三个组件解决这三个问题。

第一步：看——VLM 生成帧级叙述

SBS 用 VLM 为事件间隔里的每一帧生成一段叙述。不是根据前后事件字幕"编"过渡，而是真正"看"每一帧画面，描述发生了什么。

这一步直接解决了"盲写"问题。VLM 看到主角接电话，就会写"主角接电话"，而不是根据前后事件猜"主角出门"。

第二步：判——叙事感知的自适应门控

有了每帧叙述后，SBS 计算相邻帧叙述之间的语义距离。如果某个间隔内，叙述的语义变化超过阈值，说明这里确实有一个"过渡事件"——门控打开，生成过渡字幕。如果语义变化很小（比如连续的做饭步骤），门控关闭，不生成过渡字幕。

门控信号的选择很关键。论文比较了三种选项：随机激活、原始 CLIP 视觉特征、VLM 生成的叙述文本。结果：

• 随机激活最差
• 原始视觉特征好一些，但低级信号容易被非语义变化（光照、摄像机抖动）干扰
• 叙述文本最好——因为文本是语义抽象的，能过滤掉表面噪声，捕捉真正的"故事转折"

这个发现很有意思：用语言作为语义变化的检测器，比用视觉特征更可靠。 这和人类认知的"语言作为思维工具"假说呼应——语言不只是交流工具，还是认知的脚手架。

第三步：放——自适应事件间掩码

门控决定"要不要放过渡字幕"，掩码决定"放在哪里、放多宽"。

SBS 不用固定中点，而是找到语义变化最大的帧位置 \(p_n\)，然后和原始中点 \(c^{inter}_n\) 做加权平均：

\(\alpha=0.5\) 意味着"一半听时间先验，一半听语义变化"。

宽度也是自适应的：从候选集 \(\{0.2, 0.4, 0.6\}\) 中选择使视觉-语言对齐分数最大的宽度。如果过渡很短暂，选窄掩码；如果过渡持续较久，选宽掩码。

实验结果：全面超越

在 ActivityNet Captions 和 YouCook2 两个基准上，SBS 在字幕生成和定位两个子任务上都达到了 SOTA。

ActivityNet Captions 上：

• CIDEr 36.87（前 SOTA SAIL 35.38）
• F1 58.18（前 SOTA SAIL 57.00）
• 甚至超过了一些全监督方法——尽管 SBS 没用任何时间边界标注

YouCook2 上同样领先：CIDEr 16.28（SAIL 14.61），F1 22.17（SAIL 20.94）。

消融实验的洞察

三个组件逐个加入的效果：

• 只有 VLM 字幕（不加门控和掩码）：CIDEr 35.03 → 35.73
• 加门控：35.73 → 36.61
• 加掩码：35.73 → 36.51
• 全加：36.87

每个组件都有独立贡献，组合效果最好。

VLM 选择实验也值得关注：BLIP-2、InternVL3、Qwen2.5-VL、xGen-MM、SmolVLM2 五个 VLM 都比 LLM 好，且差异不大。这说明收益来自"看视频"这个行为本身，而不是来自某个特定的 VLM。

更深层的洞察：先验知识的正确注入方式

SBS 的成功，本质上是一个关于"如何注入先验知识"的教训。

SAIL 用 LLM 合成过渡字幕，是在注入先验——用语言模型对"事件之间通常发生什么"的先验知识，填补信息空白。但这个先验是"盲"的，不看实际视频内容，容易产生幻觉。

SBS 用 VLM 生成帧级叙述，是在用数据修正先验——先看实际内容，再决定是否需要过渡字幕以及过渡是什么。先验不再被盲目注入，而是被"有视觉基础地"应用。

这个模式在很多领域都适用：

• 代码生成：LLM 先看代码上下文再生成补全，比不看上下文直接生成更可靠
• 医疗诊断：AI 先看影像再生成报告，比只看病历文字生成报告更准确
• 法律分析：AI 先看案件事实再引用法条，比只看案件类型猜法条更合理

共同原则：先验知识应该作为"看"的补充，而不是"看"的替代。

结语：看见的力量

SBS 的名字——"Seeing Before Synthesizing"——精确概括了它的贡献：先观察，再合成。

这个原则看似简单，但在 AI 系统设计中经常被违反。我们太喜欢让模型"凭空生成"——用 LLM 编字幕、用扩散模型生成图片、用 RL 训练策略——而忘了在生成之前，应该先让模型"看"到正确的信息。

SBS 的消融实验证明：把 LLM 换成 VLM，即使不做其他改进，CIDEr 就从 35.38 提升到 35.73。仅仅是"看了一眼"，就有收益。

这也许是这篇论文最朴素的启示：在 AI 想要"说"之前，先让它"看"。

---

论文: Seeing Before Synthesizing: VLM-Guided Transition Event Discovery for Weakly-Supervised Dense Video Captioning 作者: Ye-Chan Kim, Seunghee Choi, SeungJu Cha 等 (汉阳大学) 代码: 暂未开源