京东 Joy Future Academy 团队的 Yicheng Xiao、Wenxun Dai 等人在 arXiv:2608.03974(8 月放出)里做的事,如果是 2024 年,我会直接归到"白日梦"那一类——16B 参数、720p、30.19 FPS,边播边改视频内容,而且改完的画面还能紧贴原始源视频没改到的部分。
为什么这难?因为它撞上了视频编辑里两条割裂的世界:离线编辑(效果好但必须等视频拍完)vs 流式编辑(实时但牺牲质量)。流式方法在权威基准 OpenVE-Bench 上综合得分 1.2-2.6(满分 5),而离线强模型做到 3.6+。前者为了"实时"一个指标把编辑质量打折到面目模糊。
JoyAI-Video-Edit 想做的事是:让直播同步级别的实时性,跑出离线强模型的质量。从数据看它做到了——OpenVE-Bench 上综合 3.60,接近 27B 参数的离线 Bernini-R(3.72),比流式第二名 SANA-Streaming(2.62)高出近 1 分;论文自建的 1 分钟长视频基准 LongV2VBench 上,综合 3.30 把第二名 XMax-X2.0(1.71)直接翻倍。
具体实现是三板斧,一板一刀对应一个坎:
第一板斧:分块自回归。 把视频沿时间切成块,块内双向注意(看得见上下)、跨块因果注意(只看见过去)。再叠加"滑动窗口 + 全局锚点"——只保留最近几个历史块 + 第一个块作为全程锚点,不管直播多久,处理量恒定。这等于把"看上下文"的负担从"全程累积"压到"最近几分钟 + 开场基调"。配上 Resampling Forcing(把每个历史块用模型跑一遍单步去噪,作为"自产的、不那么完美"的历史喂训练),让模型在训练阶段就习惯"和自己不完美的输出共事",而不是第一次推理就被传话游戏坑到。
第二板斧:SA-DMD。 这是该团队最值得解释的一招——把扩散去噪从几十步压到两步。直接套标准 DMD(分布匹配蒸馏)在视频编辑上会"幻觉":长时间自回归里生成器越来越依赖自己不完美的历史,编辑内容偏离原视频。SA-DMD 在训练阶段的教师目标里,额外参考"时间上严格对齐的源视频画面"——通过无分类器引导,把"文本指令引导"和"源视频保真度引导"拆成两个独立旋钮。这一拆是离线的:实际部署后模型走单一推理分支,不再二次看源。等于把"纠偏能力"刻进肌肉记忆,而不是部署时外挂。
第三板斧:LHAD。 训练时如果只用几秒视频,模型没见过"编辑到第 50 秒是什么状态"——这是新手司机只绕小区就上高速会跑偏的同款问题。LHAD 把长视频拆成若干短连续小段,每段单独算 SA-DMD 梯度,算完立刻清空计算图(避免 OOM),再累积所有梯度做一次统一更新。让模型"见识"长视频后期的深层错误状态,又不爆显存。一个小技巧:动态镜像循环——目标长度超源视频时,正放完接倒放交替循环造出长视频,避免简单循环带来的画面跳变。
部署上的数字挺震撼——单 B200 GPU 上每 8 帧视频块的端到端耗时 266 ms,换算 30.1 FPS。VAE 编码 22 ms、DiT 去噪 2 步 185 ms、VAE 解码 19 ms。VAE 内部处理速度达到 200 FPS,比竞品 27-37 FPS 直接甩出一个数量级。优势来自整个系统链路的协同优化,不是单点算法——FP8 量化 + 编译 VAE + 自动调优 + 流水线执行 + 持久化内存池,工程上每处抠出来的几 ms 加起来就是能不能上 30 FPS 的区别。
但有几条暗面值得记一下:
1. 16B + B200 是个不便宜的组合。 等哪天能塞进普通游戏本甚至手机时,实时视频编辑才能"人人张口就来"。模型压缩这条线,Flow Matching + 量化感知训练是公认的可行路径,但商业团队的动力未必在客户端。
2. LongV2VBench 把"长视频漂移"这件事量化了出来——很多论文提到长期一致性时一笔带过,这篇专门搭了基准证明:不做专门优化,一分钟视频的编辑质量能比十秒钟差出一倍不止。这就是为什么此前"实时编辑"方案大多在"短平快"场景下堆成绩——拉到真实长直播就现原形。
3. 训练数据两条路。 一是"关键帧引导的编辑传播":先单帧改好,再用"图像+视频→视频"模型把改动传播到其他帧;二是"潜在共享的图生视频":两个分支 I2V 模型在早期去噪共享潜在变量保证运动一致,后期用不同图片条件引入编辑效果。两条路都靠多模态大模型做"质检 + 复核"——这个反向修正让训练数据从源头就比"自动爬 + 人工筛"高出一档。
下一根钉子:把"实时编辑"和"实时翻译"做成同一系统——直播的时候你想把日语同传成中文、同时给画面里的主播套上动漫皮肤,这个跨模态实时任务需要的就是 JoyAI 这套架构。把它从"视频编辑"挪到"边播边控"——这是真正能改变直播经济的下一档。
#JoyAI #实时编辑 #京东