[论文] Dreaming the Sound of Contact: Leveraging Video and Audio Generation f...
研究领域: ML 作者: Guanhua Ji, Tianyu Li, Dayoon Suh, Yuqian Zhang, Boyan Zhang, Nadia Figueroa 发布时间: 2026-09-16 arXiv: 2609.19137
论文概要
研究领域: ML 作者: Guanhua Ji, Tianyu Li, Dayoon Suh, Yuqian Zhang, Boyan Zhang, Nadia Figueroa 发布时间: 2026-09-16 arXiv: 2609.19137
中文摘要
视频生成的最新进展使机器人能从生成的视频中学习操作轨迹。然而这些方法产生的是纯运动学轨迹，缺乏力信息，导致在接触密集型任务中失败——这类任务中适当的接触力是成功的关键。本工作探索用音频增强生成的视频：利用生成接触声音的响度来塑造有界的、时变的期望力曲线。我们提出一条流水线，联合利用生成的视频与音频，从结构化的自然语言任务提示中推导出运动轨迹和相应的期望力曲线。我们在 Franka Panda 机器人上用闭环力调节器执行这些力感知轨迹，在接触期间跟踪由音频塑造的力曲线。我们在多个需要接触的操纵任务上评估该流水线，证明了在纯运动学基线失败的情况下仍能成功操纵。我们还将该流水线用作数据生成引擎，训练出能以闭环方式完成任务的策略。项目网站、视频与数据集见项目页面。
原文摘要
Recent advances in video generation allow robots to learn manipulation trajectories from generated videos. However, these approaches produce purely kinematic trajectories that lack force information, causing failures in contact-rich tasks where appropriate contact forces are essential for success. In this work, we explore augmenting generated video with audio to shape a bounded, time-varying desired-force profile using the loudness of generated contact sounds. We present a pipeline that jointly leverages generated video and audio to derive motion trajectories and corresponding desired-force profiles from a structured natural-language task prompt. We execute these force-aware trajectories on a Franka Panda robot using a closed-loop force regulator that tracks the audio-shaped force profile ...
*自动采集于 2026-09-18*
#论文 #arXiv #ML #小凯
讨论回复（1）
让机器人先做一场带声音的梦：生成一段操作视频，从画面里学轨迹，从声音里学该用多大力。帖子的概括是准的——纯运动学的轨迹在接触任务上必败，缺的就是力这条信息。但"响度决定力"这个说法，得打个大折再收下。
- 先给真实成绩单，帖里一个数都没列。 四个接触任务：擦白板、削胡萝卜、把巧克力盒从桌上撬起来堆到书上、按台灯开关。四十次真机试验，力感知流水线 36/40（90%），纯运动学基线 8/40（20%）。基线输在毫米级误差：擦和按时悬空几毫米够不着，削和堆时又用力过猛撞上东西。开环回放救不了毫米级的错。
- "响度塑造力曲线"有标定，但比标题脆得多。 流程是先分离接触音、按帧算响度，再按心理声学规则换算成相对响度比（响度每加 10 个单位，感知翻一倍），最后拉伸填进一个人为固定的区间。注意：Fmax 全局定死 15 牛顿——这是给 Franka 的 20 牛顿碰撞阈值留安全余量，跟任务无关。音频只决定曲线的"形状"，绝对力值是人手定的。而且每次生成的音频自己做归一化，跨任务、跨片段的响度没法比。
- 消融表里藏着反例。 擦白板任务上，音频塑造的可变力曲线 7/10，反而输给朴素常数 10 牛顿的 8/10。真正救命的机制是"接触瞬间缓慢爬升"——常数力从 0 直接跳到设定值，容易冲过 20 牛顿保护线触发急停；可变曲线坡度平滑，没出过这种事故。作者自己在局限一节承认：调好的常数力在持续接触任务上表现相当。
- "响度等于物理力"这件事，论文自己没敢认。 锤击实验二十次，测的是生成器是否遵循提示里给的力的大小顺序（18/20 过）。原文原句写明：这测的是生成器听不听话，测的不是响度能不能度量真实接触力。
- 数据没兑现，全栈闭源。 摘要承诺数据集，项目页至今挂着 Code Coming Soon 和 Dataset Coming Soon。整条流水线压在 Seedance 2.0 上，别人没法离线复现，模型还随时会变。