Jasna：选择性视频修复的工程艺术，当 AI 只处理画面中 5% 的区域

Jasna：选择性视频修复的工程艺术，当 AI 只处理画面中 5% 的区域

一个反直觉的工程选择

视频修复（video restoration）的传统做法是"全帧处理"——把每一帧都送进超分辨率模型，让 GPU 逐像素地重建整个画面。这很慢：一段 1080p、30fps、10 分钟的视频有 18,000 帧，每帧 200 万像素，全帧处理意味着 36 亿像素的推理计算。

Kruk2/jasna 做了一个反直觉的选择：只处理需要修复的区域。如果一帧画面中只有 5% 的区域需要修复（比如一个马赛克块），Jasna 只对这 5% 的区域做模型推理，其余 95% 保持原样。这把计算量从 36 亿像素降到了 1.8 亿像素——20 倍的加速。

这个选择听起来简单，但工程上极其复杂。你需要先检测哪些区域需要修复（segment detection），然后裁剪出这些区域（crop），对裁剪后的小块做模型推理（inference），最后把结果贴回原帧（composite）。每一步都有精度和性能的 trade-off：检测太粗会漏掉边缘，裁剪太小会丢失上下文，推理模型需要处理任意尺寸的输入，贴回时需要无缝融合。

Jasna 把这条流水线做成了一个可用的桌面工具，免费、开源、GPU 加速。这不是一个学术 demo，是一个实际可用的产品。

两个模型，两种哲学

Jasna 提供两个修复模型，代表了视频修复的两种技术路线。

BasicVSR++（快速模式）：这是 2022 年 CVPR 的经典模型，开源权重，专门为视频超分辨率设计。它的核心创新是时序传播——不是逐帧独立处理，而是利用前后帧的信息来辅助当前帧的修复。具体来说，它有一个双向循环结构：前向传播从过去帧提取信息，后向传播从未来帧提取信息，两者在当前帧融合。

为什么时序传播重要？因为视频的相邻帧之间有大量冗余信息。一帧中的某个区域被遮挡了，但前一帧和后帧的同一区域可能是清晰的。BasicVSR++ 通过光流对齐前后帧，把清晰区域的信息"搬"到被遮挡区域，从而实现修复。这比单帧的超分辨率模型（比如 Real-ESRGAN）效果好得多，因为后者只能从单帧内部的信息去推断缺失内容。

BasicVSR++ 的代价是速度：它需要同时处理多帧，显存占用高。但 Jasna 的选择性处理策略大幅缓解了这个问题——只对小块区域做多帧推理，显存占用从"整帧 × 多帧"降到了"小块 × 多帧"。

LTX（高质量模式）：这是一个较新的模型，支持者付费使用。LTX 的特点是生成式修复——不只是从已有信息中提取，而是用扩散模型生成缺失内容。这比 BasicVSR++ 的插值式修复效果更好，但计算量大得多。

两种模型的并存体现了一个工程哲学：快速模式用于预览和迭代，高质量模式用于最终输出。用户可以先用 BasicVSR++ 快速跑一遍看效果，调整参数满意后再用 LTX 做最终渲染。这比"一个模型走到底"的方案更实用，因为视频修复是一个需要人工判断的过程——什么算"修复好了"很大程度上是主观的。

实时预览：不做完整文件生成

Jasna 的另一个工程亮点是实时预览。传统的视频处理工具（FFmpeg、HandBrake）的工作模式是"输入文件 → 处理 → 输出文件"，用户必须等整个处理完成才能看到结果。一段 10 分钟的视频可能要处理 30 分钟，用户在这 30 分钟里完全不知道效果如何。

Jasna 的做法是流式处理 + 实时播放：处理完一帧就播放一帧，用户可以随时暂停、调整参数、重新处理。这需要解决一个技术问题——视频编码通常需要" lookahead"（前瞻），即处理当前帧时需要参考未来几帧的信息。Jasna 通过维护一个帧缓冲区来解决这个问题：先处理 N 帧放入缓冲区，然后开始播放，后续帧在播放过程中持续处理并补充到缓冲区。

这个设计让用户的迭代周期从"30 分钟"缩短到了"30 秒"。用户可以在 30 秒内看到第一帧的修复效果，判断参数是否合适，而不是等整个文件处理完才发现效果不对。

Segment Editor：让人参与决策

Jasna 提供了一个 Segment Editor，让用户手动选择哪些区域需要修复。这看起来像是一个"手动标注"功能，但实际上是一个更深的设计选择：AI 检测 + 人工确认。

全自动检测的问题在于：模型可能误判。一段视频中的某个模糊区域可能是故意的艺术效果（比如景深虚化），也可能是压缩伪影，也可能是需要修复的区域。全自动检测无法区分这些情况，会把所有"看起来需要修复"的区域都标记为待修复。

Jasna 的 Segment Editor 让用户在自动检测的基础上做人工调整：添加漏掉的区域，删除误判的区域，调整修复区域的边界。这是一个"AI 提议、人类决策"的协作模式，比全自动方案更可靠，比全手动方案更高效。

GPU 优化：显存是瓶颈

视频修复模型是显存密集型的。BasicVSR++ 处理 1080p 视频时，多帧传播的中间特征图会占用大量显存。Jasna 的选择性处理策略在这里发挥了关键作用：

• 只对小块区域做推理 → 中间特征图尺寸缩小 → 显存占用降低
• 显存占用降低 → 可以用更大的 batch size 或更长的时序窗口 → 修复质量提升

Jasna 的 README 提到它支持 NVIDIA 和 AMD GPU，通过 CUDA 和 DirectML 两种后端。这意味着 Windows 用户（AMD GPU）也能使用，而不像很多 AI 视频工具只支持 NVIDIA CUDA。

技术之外的思考

Jasna 的技术架构——选择性处理、双模型策略、实时预览、人工确认——构成了一个完整的"AI 辅助视频修复"工程范式。这个范式的核心思想不是"用更强的模型"，而是"用更聪明的工程让现有模型更高效"。

当 AI 视频处理的讨论大多聚焦在"更大的模型、更长的时序窗口、更高的分辨率"时，Jasna 展示了另一条路：不处理不需要处理的区域。这个原则适用于更广泛的 AI 工程场景——不是所有数据都需要 LLM 推理，不是所有图像都需要 VLM 分析，不是所有决策都需要模型参与。关键是识别"哪些 5% 真正需要 AI"，把 95% 的简单情况用规则和缓存处理掉。

这是工程思维对 AI 原教旨主义的修正：不是所有问题都需要用最重的模型去解。

*项目地址：Kruk2/jasna* *模型论文：BasicVSR++ (arXiv:2104.13371)*