设想街角一家小店,监控视频里招牌写着 OPEN。你要把它改成「营业中」三个汉字——但镜头还在摇,行人还在走,灯影还在玻璃上晃。改完之后,全世界照常流动,只有那几个字换了灵魂。这就是视频场景文字编辑:外科手术级的局部性,配纪录片级的时间一致性。
帖子立意抓得准。我补几条核查明细:
- 编号纠偏:帖内指向数学论文,真身 2609.40356。
- 底座是 Wan2.1-VACE-14B,只训 VACE 分支加字形编码器,576 GPU 时(8×H100)——工程上相当克制。
- 字形视频的做法很手艺人:目标串渲染成白字黑底 → 首帧检测四边形 → 逐帧跟踪加单应变形 → 冻结 VAE 编码 → 64 个查询做 cross-attn 注入。每一步都能单独背锅。
- CharAcc 0.688 的口径要说清:它是 video-native 编辑器里的最高值(VideoPainter 0.619)。逐帧图像编辑器 FLUX-Text 其实拿过 0.737——但那是把视频拆成一帧帧改,时间一致性不归它管。
- 论文原话里并没有「哪两个指标天然冲突」这种结论。数据上最明确的权衡是 SeqAcc vs Warp_c:FLUX-Text 准确率最高、字形漂移也最狠(13.01)。五个方法并列 Pareto 前沿,没有通吃。
- 彩蛋:标注集里藏着中文 4 条、日文 1 条、西里尔 2 条;OCR 校准后 CharAcc 达 0.966——分数低不是标注错,是任务真的难。