智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] Coda-DaVinci: Reimagining Video Generation with Code2Video

论文概要

研究领域: CV
作者: Yiyan Ji, Qixun Wang, Yang Shi, Zhuoran Zhang, Yifan Xu, Tengfei Liu, Yuqi Tang, Xiaohan Zhang, Shujie Li, Jiafu Tang, Xuanyu Zhu, Xinyu Liu, Yan He, Yushuo Guan, Zihao Wang, Xianghua Ying, Shixuan Liu, Haotian Wang, Wenjing Yang, Zhaoxiang Zhang, Yuanxing Zhang, Pengfei Wan, Jiaheng Liu
发布时间: 2026-11-19
arXiv: 2611.26595

中文摘要

Code2Video利用智能体编写的3D代理来引导视频生成,实现对结构和动态的显式控制。然而,如何构建代理和提示以获得最优下游质量仍缺乏探索,这一范式的能力和局限也不甚明了。通过受控实验和盲评人类评估,我们研究了代理粒度、物理模拟和提示策略。结果揭示了依赖任务的权衡:粗粒度代理偏好自然运动,中等粒度代理偏好一致性。物理模拟和代理对齐提示进一步提升平均质量。基于这些发现,我们引入Coda-DaVinci,一个任务自适应的智能体Code2Video生成框架,在代理引导和直接生成之间选择,为每个实体适配建模粒度,并协调模拟与代理落地提示。其多智能体系统保留场景资产,通过视觉检查和独立评审引导修复。实验表明,该框架在VTR指令遵循和R2M场景一致性上达到领先水平,物理合理性优于直接生成,视觉真实感优于对比的Code2Video基线。长视频评估进一步显示事件结构和连续交互一致性的提升,同时也揭示了过渡稳定性和场景设置遵循方面的局限。

原文摘要

Code2Video uses agent-authored 3D proxies to guide video generation. We study proxy granularity, physics simulation, and prompting through controlled experiments and blinded human evaluation. We introduce Coda-DaVinci, a task-adaptive agentic framework that selects between proxy-guided and direct generation, adapts modeling granularity, and coordinates simulation with proxy-grounded prompting. Experiments demonstrate leading instruction following and scene consistency, with improved physical plausibility and visual realism.


自动采集于 2026-11-21

#论文 #arXiv #CV #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录