SAMA：把视频编辑拆成"画什么"和"怎么动"

你让一个视频编辑新手去做指令式编辑："把视频里跑步的人变成骑自行车，背景从公园换成海边，但保持镜头运动节奏不变。"新手会怎么做？大概率会把所有变化一锅炖——同时改人、改背景、改运动——然后画面就糊了，人骑车的动作和海浪的节奏完全不同步，每一帧都像是在打架。

这个问题困扰了指令式视频编辑很久。现有方法把语义修改（改什么）和运动保持（怎么动）混在一个注意力机制里处理，结果两者互相干扰——改了语义就破坏了时序连贯性，保持运动就限制了语义编辑空间。

SAMA（Semantic Anchoring and Motion Alignment）来自百度和清华大学的研究团队，核心思路简单而有力：把视频编辑拆成两个正交的子问题——"画什么"和"怎么动"——分别用不同的目标函数去优化，然后在同一个模型里联合训练。

语义锚定：给每一帧钉一个"语义图钉"

第一个支柱是 Semantic Anchoring（SA）。它的作用是确保视频里"有什么"在每一帧都稳定——人物的身份、衣服的颜色、场景的布局。SA 作为一个辅助目标，在预训练和微调两个阶段都存在。

具体做法是：对一张图像样本，模型需要生成目标图像序列并保持语义一致。这相当于给视频的每一帧钉上一枚"语义图钉"——无论运动怎么变，图钉锚定的内容不变。SA 损失函数直接约束模型在语义空间中的输出稳定性。

运动对齐：三个"破坏-修复"游戏

第二个支柱是 Motion Alignment（MA），这是 SAMA 最有创意的部分。MA 不直接告诉模型"运动应该是什么样的"，而是通过三个 pretext task（前置任务）让模型从原始视频中"内化"时序动力学：

Cube Inpainting（立方体修复）：从视频 \(\tilde{V}_s\) 中随机挖掉一个时空立方体（一段连续帧中的一个空间区域），让模型根据剩余帧恢复缺失内容。这迫使模型理解"被遮挡的部分应该长什么样"——这需要理解物体的运动轨迹和外观的一致性。

Speed Perturbation（速度扰动）：把视频 \(\tilde{V}_s\) 在时间轴上加速，然后让模型恢复正常速度。这等于让模型学会"运动的节奏应该是什么样的"——一个跑步的人加速两倍后看起来像快进，模型需要把它还原成正常速度下的运动模式。这提升了模型对运动速率变化的鲁棒性。

Tube Shuffle（管道打乱）：把视频 \(\tilde{V}_s\) 切成 \(2 \times 2 \times 2\) 的时空管道网格（2 段时间 × 2 行 × 2 列），随机打乱管道顺序，让模型恢复正确排列。这迫使模型推理时空结构——哪一帧应该在前面、哪一块应该在左边——并恢复一致的运动。

这三个任务的设计思路是"破坏-修复"：先人为破坏视频的某个属性（挖洞、变速、打乱），再让模型修复。模型在修复过程中被迫理解视频的时序结构。这和 BERT 的掩码语言模型、MAE 的掩码图像重建一脉相承——但 SAMA 把它扩展到了视频的时序维度，并且针对运动特性设计了三种不同的破坏方式。

两阶段训练：先无监督学结构，再有监督学编辑

SAMA 的训练分两个阶段：

Factorized Pre-training（分解式预训练）：在大规模无标注视频上同时训练 SA 和 MA 两个目标，不需要任何"视频-编辑指令"配对数据。模型在这个阶段学会的是视频的内在结构——语义稳定性和时序动力学。

SFT（监督微调）：在配对的"视频-编辑指令"数据上微调，让模型学会根据指令做编辑。

这里有一个令人惊讶的发现：仅靠分解式预训练，模型就已经具备零样本视频编辑能力。 这意味着 SA 和 MA 的分解本身已经足够让模型理解"怎么改语义而不破坏运动"——SFT 只是把这个能力对齐到具体的指令格式上。

和商业系统掰手腕

SAMA 在 VIE-Bench（Video Instruction Editing Benchmark）上评测，在开源模型中达到 SOTA，并且和 Kling-Omni 等领先商业系统具有竞争力。作者还提供了 ComfyUI 集成（Cynthiazxy123/SAMA-ComfyUI-official），可以直接在 ComfyUI 工作流中使用 SAMA-14B 模型。

更实际的意义在于：SAMA 证明了"分解"比"统一"更有效。把语义和运动塞进一个注意力机制里，两者会互相挤压；把它们拆成两个正交目标，模型反而学得更好。这个洞察可能适用于更广泛的视频生成任务——从文生视频到视频续写。

一个更深的启示：正交分解的胜利

SAMA 的成功让我想到一个跨领域的模式：当两个目标互相干扰时，正交分解比联合优化更有效。

在物理学里，把运动分解成正交分量（如水平和垂直）让分析变得简单。在机器学习里，把复杂目标分解成正交子目标（如 SAMA 的语义和运动）让优化变得高效。在软件工程里，关注点分离（Separation of Concerns）让代码变得可维护。

SAMA 的 pretext task 设计还有一个更深的洞察：最好的学习方式不是"直接做"，而是"破坏后修复"。 你不告诉模型运动应该是什么样，你先破坏运动（挖洞、变速、打乱），让模型在修复中自己发现运动的规律。这和人类学习的"逆向工程"思路一致——拆解比组装更容易理解结构。

下次你看到一个视频编辑模型在语义和运动之间挣扎时，想想 SAMA 的做法：别让一个机制同时管两件事，把它们拆开，分别训练，再合到一起。正交分解，永远的神。

---

论文: SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing 作者: Xinyao Zhang, Wenkai Dong, Yuxin Song 等（百度/清华大学） arXiv: 2603.19228 项目页: cynthiazxy123.github.io/SAMA 代码: github.com/Cynthiazxy123/SAMA 模型: huggingface.co/syxbb/SAMA-14B