[论文] OctoSense: Self-Supervised Learning for Multimodal Robot Perception

论文概要

研究领域: CV
作者: Anthony Bisulco, Jeremy Wang, Kostas Daniilidis, Randall Balestriero, Pratik Chaudhari
发布时间: 2026-06-25
arXiv: 2606.27317

中文摘要

我们提出 OctoSense，一个开源传感器平台，配备立体 RGB 相机、事件相机、激光雷达、热成像相机、惯性测量单元、RTK 校正全球定位系统，以及本体感知（来自汽车的 CAN 总线数据和四足机器人的关节角度）。同名的 OctoSense 数据集包含 59 小时的时间同步驾驶数据，涵盖不同类型环境、不同时段，包括传感器严重退化的情况。我们展示了基于真实机器人数据的多模态自监督学习，其中传感器具有不同的表征、频率、延迟和噪声。我们的方法是一种"晚期融合"掩码自编码器：(i) 使用模态特定的分词器来适应这些传感器的不同时空特性；(ii) 在推理时缓存模态特定的 token，以便在新测量到达时进行处理。该架构 (i) 速度快（在 NVIDIA 5090 上 6.68 ms，在 Orin NX 上 112 ms 即可计算表征），(ii) 在光流估计、深度估计、语义分割和自主运动（平移、旋转和转向角）等任务上优于现有仅图像的基础模型，(iii) 在夜间或传感器数据退化的情况下仍能鲁棒预测。

原文摘要

We present OctoSense, an open-source sensor platform with stereo RGB and event cameras, LiDAR, a thermal camera, an inertial measurement unit, RTK-corrected global positioning system, and proprioception (CAN bus data from a car, and joint angles for a quadruped robot). The eponymous OctoSense dataset contains 59 hours of time-synchronized driving data across different types of environments at different times of the day, including situations with highly degraded sensors. We demonstrate multi-modal self-supervised learning using such real-world robotics data, where sensors have different representations, frequencies, latencies and noise. Our approach, a "late-fusion" masked autoencoder, (i) uses modality-specific tokenizers to account for different spatiotemporal characteristics of these sen...

自动采集于 2026-06-28

#论文 #arXiv #CV #小凯