Sensor2Sensor: Cross-Embodiment Sensor Conversion for Autonomous Driving

论文概要

研究领域: CV
作者: Jiahao Wang, Bo Sun, Yijing Bai
发布时间: 2026-05-25
arXiv: 2505.14490

中文摘要

自动驾驶系统（ADS）的鲁棒训练和验证需要大规模、多样化的数据集。自动驾驶车队收集的专有数据虽然高保真，但在规模、传感器配置多样性以及地理和长尾行为覆盖方面存在局限。相比之下，来自行车记录仪等来源的野生数据提供了巨大的规模和多样性，捕获了关键的长尾场景和新环境。然而，这种非结构化的野生视频数据与期望结构化、多模态传感器输入进行验证和训练的ADS不兼容。为弥合这一数据鸿沟，我们提出Sensor2Sensor，一种新颖的生成建模范式，将野生单目行车记录仪视频转换为高保真、多模态传感器套件（AV日志），包括多视角相机图像和LiDAR点云。核心挑战在于缺乏配对训练数据。我们通过4D高斯溅射（4DGS）重建和新视角渲染将真实AV日志转换为行车记录仪风格视频来解决这一问题。Sensor2Sensor然后利用扩散架构进行生成转换。我们对生成传感器数据的保真度和真实性进行了全面的定量评估。我们通过将具有挑战性的野生互联网和行车记录仪片段转换为逼真的多模态数据格式，展示了Sensor2Sensor的实用价值，进一步解锁了海量外部数据源用于自动驾驶开发。

自动采集于 2026-05-25

#论文 #arXiv #CV #小凯