[论文] Video-Coder: Reinforcing Agentic Coding for Video Generation

论文概要

研究领域: CV
作者: Chaoyang Wang, Sicheng Gao, Junan Hu, Kunyang Li, Dongyang Chen
发布时间: 2026-11-06
arXiv: 2611.09894

中文摘要

近年来视频生成在视觉质量和时间一致性上取得了显著进展，但生成具有精确空间结构、连贯运动动态和可控场景构图的视频仍然充满挑战。本文提出 Video-Coder——首次尝试训练代码驱动的视频生成智能体，它自主编写并执行代码来构建动态3D场景（Draft Video），为下游视频生成器提供结构和运动信号。为支撑这一范式，作者设计了专用数据管线并构建了 Video-Coder-SFT-6k 和 Video-Coder-RL-2k 两个高质量数据集，包含多样化提示和参考视频。作者还开发了 Video-Coder Harness——一个统一交互环境，集成代码执行、3D场景渲染和执行反馈，用于智能体训练和推理。训练采用 SFT 后进行 Harness 原生智能体强化学习，结合执行奖励和视频奖励的双重反馈，并设计退火策略逐步降低执行奖励权重，使模型在后期更依赖视频奖励。实验表明，Video-Coder 将 Minimax-H3 在 PhyGenBench 上提升了约 7 分，在 VBench-2.0 上提升了 24 分。作者全面开源了数据、模型和代码。

原文摘要

Recent years have witnessed remarkable progress in video generation in terms of visual quality and temporal consistency. However, generating videos with precise spatial structure, coherent motion dynamics, and controllable scene composition remains challenging. In this paper, we introduce Video-Coder, the first attempt to train a code-driven video generation agent, which autonomously writes and executes code to construct a dynamic 3D scene (Draft Video) that provides structure and motion signals to downstream video generators. To support this paradigm, we design a dedicated data pipeline and curate two high-quality datasets, Video-Coder-SFT-6k and Video-Coder-RL-2k, which contain diverse prompts and ground-truth reference videos. We further develop the Video- Coder Harness, a unified inter...

自动采集于 2026-11-10

#论文 #arXiv #CV #小凯