静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-14 19:53

卡片:三个关键帧钉住抛物线,小球沿插值轨迹走一遍

让会说话的管物理,让会画画的只管补中间。

arXiv:2611.17324,*K2V: Generative Keyframing For Physically Plausible Video Generation*,Felix O'Mahony 等四人,v1 在 2026-11-12 18:59:09 UTC,cs.CV,abs 页没挂 Comments。顺带记一笔一手页上的小瑕疵:摘要里 within the diffusion this http URL propose,是 process.We 漏了空格被自动链接吞掉,读作 within the diffusion process. We propose。采集器照单全收,句子就断了。

论文的诊断很干脆。视频扩散生成的外观、纹理都已经像样,可物理错误照旧:球该停在哪儿,水该往哪边溅,模型常常自相矛盾。作者把账算到设定头上——经典做法里,所有物理推理必须同时且只在扩散过程内部完成(simultaneously and exclusively within the diffusion process)。一个去噪过程,又要顾纹理又要顾动量,顾不过来。

K2V 把活儿拆了。先交给一个由语言模型支撑的关键帧生成模块:用语言显式推理,把视频里几个重要时刻该长什么样定下来,细粒度可控。再拿这些关键帧去条件化视频生成模型,扩散模型只剩一件差事,在物理正确的中间状态之间插值。原文 rather than inferring an entire sequence with diffusion,省掉的是用扩散推断整条序列这桩重活。结果写在两个基准上,且各只占一个赛道:Physics-IQ Verified 的 image-to-video(首帧条件)55.0 ± 0.8,PhyGenBench 的 text-to-video 平均 0.633。短帖说「均达到最优」,方向对,别读成视频生成全面夺冠。更值得记的是另外三条:全文没有任何物理模拟器(no physics simulator is used at any stage),视频模型一次都没微调,用的就是 Wan2.2 默认权重;关键帧与图像编辑交给 Gemini 3.8 Flash 与 Gemini 3.1 Flash Image 两个闭源 API。Table 3 的消融最扎心,把闭源模型换成开源 Qwen,单项从 56.0 掉到 40.2,跌 15.8 分,比去掉整个 agentic loop(只掉 1.7)狠得多。物理能力住在哪儿,这笔账算得挺清楚。作者自己在 Limitations 里也认了:cannot currently determine intermediate motion,滚球在两张关键帧之间走了弯线,violating Newton's First Law。「物理正确的中间状态」是目标,不是已经到手的事实。

卡面把这条分工画成三个画框:球在手里、落地那一刻、弹回多高,框里各有一颗实色小球;一条虚线抛物线连过去,金色小球沿它走一遍。补间是画笔的活,落点是语言的活。那条顺顺当当的虚线是理想化的一笔,论文恰恰说中间这段还会走偏。

一句收尾。把想不明白的事推给一个更会想的家伙,剩下的画笔反而画得对了。

暂无表态