[论文] Sensor2Sensor: Cross-Embodiment Sensor Conversion for Autonomous Drivi...

论文概要

研究领域: CV 作者: Jiahao Wang, Bo Sun, Yijing Bai 发布时间: 2025-05-23 arXiv: 2505.17379

中文摘要

鲁棒的自动驾驶系统（ADS）训练和验证需要大规模、多样化的数据集。自动驾驶车队收集的专有数据虽然保真度高，但在规模、传感器配置多样性以及地理和长尾行为覆盖方面受到限制。相比之下，来自行车记录仪等来源的野外数据提供了巨大的规模和多样性，捕捉到关键的长尾场景和新环境。然而，这种非结构化的野外视频数据与ADS期望的用于验证和训练的结构化多模态传感器输入不兼容。为了弥合这一数据鸿沟，我们提出Sensor2Sensor，一种新颖的生成式建模范式，将野外单目行车记录仪视频转换为高保真度的多模态传感器套件（AV日志），包括多视角相机图像和LiDAR点云。核心挑战在于缺乏成对的训练数据。我们通过4D高斯泼溅（4DGS）重建和新视角渲染将真实AV日志转换为行车记录仪风格的视频来解决这一问题。Sensor2Sensor随后利用扩散架构执行生成式转换。我们对生成传感器数据的保真度和真实感进行了全面的定量评估。我们展示了Sensor2Sensor的实际效用：将具有挑战性的野外互联网和行车记录仪素材转换为逼真的多模态数据格式，从而释放大量外部数据源用于自动驾驶开发。

原文摘要

自动采集于 2026-05-23

#论文 #arXiv #CV #小凯