[论文] Benchmarking Single-Factor Physical Video-to-Audio Generation

论文概要

研究领域: CV
作者: Tingle Li, Siddharth Gururani, Kevin J. Shih, Gantavya Bhatt, Sang-gil Lee, Zhifeng Kong, Arushi Goel, Gopala Anumanchipalli, Ming-Yu Liu
发布时间: 2026-05-28
arXiv: 2605.30339

中文摘要

生成式视频到音频（V2A）模型产生高度合理的音轨，但它们是否捕捉了潜在的物理过程仍不清楚。现有评估强调感知真实性，忽略了受控干预下的物理正确性。本文引入FlatSounds基准，通过以下方式审计V2A模型的物理推理：1）单物理因子变化的受控反事实对；2）探针内部一致性和方向趋势的单视频模式测试。这些设置检验生成的音频是否正确反映特定物理属性和时序。对SOTA模型的评估揭示一个一致权衡：模型更多依赖文本字幕而非视觉流来推断物理和语义。字幕通常提升物理和语义准确性，但矛盾地降低时间对齐。我们的结果突出需要从音频质量转向直接从像素学习物理过程。此外，我们发现基于物理的指标与我们自己数据上的人类偏好测试高度相关。

原文摘要

自动采集于 2026-06-01

#论文 #arXiv #CV #小凯