[论文] VEFX-Bench: A Holistic Benchmark for Generic Video Editing and Visual ...

# VEFX-Bench：给 AI 视频编辑当裁判，结果发现没有一个能打全场 > *VEFX-Bench: A Holistic Benchmark for Generic Video Editing and Visual Effects* > Xiangbo Gao, Sicong Jiang 等 | arXiv: 2604.16272 | 2026 --- ## 一个被忽视的问题 你用过 AI 视频编辑工具吗？比如让 Kling 把视频里的红车变成蓝车，让 Runway 删掉背景里乱入的路人，或者让 Luma 给一段黑白画面上色。 这些工具越来越强了。但有一个问题几乎没人认真想过：**我们怎么知道它们编辑得好不好？** 你可能会说：看一眼不就知道了？确实，人眼能判断。但当你需要评估成千上万个编辑结果时，人眼就不够用了。而且，"好不好"本身就是一个模糊的概念——画面清晰但没按指令改，算好还是不好？按指令改了但把不该动的地方也改了，又该怎么评？ 这就是 VEFX-Bench 要解决的问题。来自 Texas A&M、Visko 和 Abaka AI 的研究者们，做了一件看似基础但极其重要的事：**给 AI 视频编辑建立一个系统化的评分标准。** --- ## 三个维度，三个裁判 研究者们提出了一个很直觉的评估框架。他们把"视频编辑好不好"拆解成三个独立维度： **指令遵循（Instruction Following, IF）**：你让它把苹果变成香蕉，它变了吗？完全变了给 4 分，完全没变给 1 分。这个维度衡量的是模型"听不听话"。 **渲染质量（Rendering Quality, RQ）**：编辑后的画面清晰吗？有没有闪烁、重影、模糊、伪影？这个维度衡量的是"做得好不好看"，跟指令无关。哪怕模型完全没执行你的指令，只要画面本身质量高，RQ 就应该给高分。 **编辑排他性（Edit Exclusivity, EE）**：它是不是只改了你让它改的地方？如果让你把红车变蓝车，结果连路边的树也变了颜色，那 EE 就要扣分。这个维度衡量的是"有没有多管闲事"。 这三个维度独立评分的设计非常关键。举个例子：如果指令是"把苹果变成香蕉"，但模型返回了完全没变的原始视频，正确的评分应该是 IF=1, RQ=4, EE=4——没听指令，但画面质量没问题，也没乱改别的东西。这种解耦避免了"一个维度的失败污染另一个维度"。 --- ## 5049 个人工标注样本 光有标准不够，还得有数据。研究者们构建了 **VEFX-Dataset**，包含 5,049 个视频编辑样本，来自 1,419 个源视频，覆盖 9 大编辑类别和 32 个子类别。 编辑类别包括：属性修改（换颜色、换材质）、物体移除、物体插入、物体移动/缩放、人体动作编辑、镜头运动编辑、风格迁移、背景替换、视觉特效。 每个样本由人工标注员沿三个维度独立打分（1-4 分）。数据集按 4200/849 划分训练集和测试集。 一个有趣的发现：三个维度的分数分布差异很大。IF 最两极分化——41.2% 的样本拿到 1 分（完全没执行指令），28.1% 拿到 4 分（完美执行）。这说明当前的视频编辑模型在"听不听话"这个问题上，要么做得很好，要么完全失败，中间态很少。 --- ## VEFX-Reward：一个专门当裁判的 AI 基于这个数据集，研究者训练了一个奖励模型 **VEFX-Reward**。它的架构基于 Qwen3-VL，有两个版本：4B 和 32B 参数。 模型的输入是三样东西：原始视频、编辑指令、编辑后的视频。模型同时处理这三个输入，比较编辑结果与原始内容和指令要求，然后对每个维度输出一个质量分数。 技术上有一个巧妙的细节：他们没有用传统的 L2 回归来预测分数，而是用了**序数回归（Ordinal Regression）**。 为什么要这样做？因为分数 1、2、3、4 之间不是等距的——1 分和 2 分之间的差距，可能跟 3 分和 4 分之间的差距完全不同。序数回归把评分建模为一系列有序的阈值判断："分数是否大于 1？""是否大于 2？""是否大于 3？"，每个判断独立用二元交叉熵训练。推理时，把这些有序概率的期望值作为最终分数。 这比直接预测一个连续数字要合理得多，也更符合人类打分的心理过程。 --- ## 排行榜：Kling 暂时领先，但没有赢家 用 VEFX-Reward-32B 作为裁判，研究者对 10 个主流视频编辑系统进行了基准测试，包括 Kling o3 Omni、Runway Gen-4.5、Seedance 2.0、Grok Imagine、Luma Ray 3、Wan 2.6 等商业模型，以及 UniVideo、VACE 等开源模型。 排名如下（按 GeoAgg 综合分）： | 排名 | 模型 | IF | RQ | EE | 综合 | |------|------|----|----|-----|------| | 1 | Kling o3 Omni | 3.03 | 3.59 | 3.04 | 3.06 | | 2 | Kling o1 | 3.04 | 3.53 | 2.98 | 2.99 | | 3 | Runway Gen-4.5 | 2.82 | 3.32 | 2.92 | 2.91 | | 4 | Seedance 2.0 | 2.81 | 3.42 | 3.09 | 2.77 | | 5 | Grok Imagine | 2.61 | 3.35 | 3.38 | 2.72 | 几个关键发现： **RQ 普遍高于 IF**。所有模型的渲染质量都相对不错，但指令遵循明显更弱。换句话说，这些模型"做得好看"比"做得对"容易得多。 **EE 是最好的区分维度**。Grok Imagine 在 EE 上表现突出（3.38），说明它"管住了手"，不会乱改不该改的地方。而 VACE 和 Luma Ray 2 在 EE 上接近垫底（1.18 和 1.36），经常"改着改着就收不住了"。 **没有模型在所有编辑类型上都强**。Kling o3 在属性修改、物体操作和视觉特效上领先，但在镜头运动和动画生成上表现一般。每个模型都有自己的"舒适区"和"盲区"。 **顶级模型的中位数很高，但方差也很大**。即使是排名第一的 Kling o3，在不同 prompt 上的表现也很不稳定。这说明当前的视频编辑模型远未达到"可靠"的程度——你可能运气好得到一个完美编辑，也可能运气差得到一个完全跑偏的结果。 --- ## 我的思考 这篇论文的价值不在于提出了什么革命性的新算法，而在于做了一件"基础设施"级别的工作。 在 AI 视频生成领域，大家都在卷"生成更酷的视频"，但很少有人认真思考"怎么评估生成质量"。VEFX-Bench 填补了这个空白，而且做得相当扎实——三个维度的解耦设计、5049 个人工标注样本、序数回归的评分方法、对 10 个主流模型的系统基准测试，每一步都经得起推敲。 对于从业者来说，这个工作的实用价值很高。如果你在做视频编辑产品，VEFX-Reward 可以作为一个自动化的质量评估工具，帮你在上线前筛选低质量结果。排行榜也提供了清晰的竞争格局参考。 但最让我印象深刻的，是那个简单而深刻的观察：**没有一个模型在所有维度、所有任务上都表现良好**。在 AI 快速发展的今天，这个发现提醒我们——离"可靠的视频编辑"还有相当长的路要走。 --- **论文**：[arxiv.org/abs/2604.16272](https://arxiv.org/abs/2604.16272) **项目页**：[xiangbogaobarry.github.io/VEFX-Bench](https://xiangbogaobarry.github.io/VEFX-Bench) **排行榜**：[vefx-leaderboard.com](https://www.vefx-leaderboard.com)