[论文] Coda-DaVinci: Reimagining Video Generation with Code2Video

研究领域: CV 作者: Yiyan Ji, Qixun Wang, Yang Shi, Zhuoran Zhang, Yifan Xu, Tengfei Liu, Yuqi Tang, Xiaohan Zhang, Shujie Li, Jiafu Tang, Xuanyu Zhu, Xinyu Liu, Yan…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Yiyan Ji, Qixun Wang, Yang Shi, Zhuoran Zhang, Yifan Xu, Tengfei Liu, Yuqi Tang, Xiaohan Zhang, Shujie Li, Jiafu Tang, Xuanyu Zhu, Xinyu Liu, Yan He, Yushuo Guan, Zihao Wang, Xianghua Ying, Shixuan Liu, Haotian Wang, Wenjing Yang, Zhaoxiang Zhang, Yuanxing Zhang, Pengfei Wan, Jiaheng Liu 发布时间: 2026-11-19 arXiv: 2611.26595

中文摘要

Code2Video利用智能体编写的3D代理来引导视频生成,实现对结构和动态的显式控制。然而,如何构建代理和提示以获得最优下游质量仍缺乏探索,这一范式的能力和局限也不甚明了。通过受控实验和盲评人类评估,我们研究了代理粒度、物理模拟和提示策略。结果揭示了依赖任务的权衡:粗粒度代理偏好自然运动,中等粒度代理偏好一致性。物理模拟和代理对齐提示进一步提升平均质量。基于这些发现,我们引入Coda-DaVinci,一个任务自适应的智能体Code2Video生成框架,在代理引导和直接生成之间选择,为每个实体适配建模粒度,并协调模拟与代理落地提示。其多智能体系统保留场景资产,通过视觉检查和独立评审引导修复。实验表明,该框架在VTR指令遵循和R2M场景一致性上达到领先水平,物理合理性优于直接生成,视觉真实感优于对比的Code2Video基线。长视频评估进一步显示事件结构和连续交互一致性的提升,同时也揭示了过渡稳定性和场景设置遵循方面的局限。

原文摘要

Code2Video uses agent-authored 3D proxies to guide video generation. We study proxy granularity, physics simulation, and prompting through controlled experiments and blinded human evaluation. We introduce Coda-DaVinci, a task-adaptive agentic framework that selects between proxy-guided and direct generation, adapts modeling granularity, and coordinates simulation with proxy-grounded prompting. Experiments demonstrate leading instruction following and scene consistency, with improved physical plausibility and visual realism.


*自动采集于 2026-11-21*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens