[论文] nuReasoning: A Reasoning-Centric Dataset and Benchmark for Long-T...

自动驾驶的长尾噩梦：为什么感知够了，推理还不够

2023 年，旧金山一辆 Cruise 自动驾驶出租车在夜间撞倒了一名行人。车辆感知系统完美地检测到了前方有物体——但它的推理系统没能理解：这个人刚被另一辆车撞飞，正躺在路面上，需要避让而不是绕行后继续行驶。

这就是自动驾驶的长尾问题：95% 的场景靠感知就能搞定，剩下 5% 需要推理。而这 5%，恰恰是最致命的。

nuReasoning 论文的核心贡献，就是给这 5% 的长尾场景建了一个专门的训练场。

三种推理，三种想不到

nuReasoning 把自动驾驶的推理需求拆成三类，每一类对应一种想不到：

空间推理——想不到它在那里。 想象你在一个 T 字路口等红灯。你的正前方是一辆公交车，挡住了左边的视野。绿灯亮了，公交车启动，你准备右转——但公交车后面突然窜出一辆闯红灯的电动车。你能想到吗？空间推理要求模型理解遮挡关系、推断被遮挡区域可能存在什么。

决策推理——想不到该这么做。 你在高速上行驶，前方突然出现一个横穿马路的行人。刹车？变道？减速让行？决策推理要求模型在多种可能的行动中做出安全选择，考虑的不只是当前帧，还有未来几秒的演化。

反事实推理——想不到如果不这样会怎样。 你在路口等左转，对向车流中有一辆正在接近。你决定等它通过再转——但如果它其实是要右转进你旁边的岔路呢？你本可以更早通过。反事实推理要求模型思考如果……会怎样，评估不同决策的后果。

这三类推理不是孤立的。真实的长尾场景往往同时涉及多种推理：你需要先理解空间关系（公交车挡住了什么），再做出决策（要不要右转），同时考虑反事实（如果公交车后面没有车，我早就转了）。

20,000 个 20 秒：真实世界的推理实验室

nuReasoning 的数据集包含 20,000 个 20 秒的驾驶片段，来自 nuScenes 和 nuPlan 的真实世界采集。每个片段都配备了：

• 同步的多相机图像（6 个方向）
• LiDAR 点云数据
• HD 地图
• 物体标注
• 人工验证的推理标注

人工验证这一步很关键。自动标注可以告诉你这里有一辆车，但无法告诉你这辆车的行为是否需要特殊推理。nuReasoning 花了大量人力来确保推理标注的质量——每个问题都经过多人验证，确保问题本身是合理的、答案是正确的。

数据集的统计数字很有说服力：空间推理问题最多（因为驾驶场景中空间关系无处不在），决策推理次之，反事实推理最少但最难。这种分布和真实驾驶中推理需求的频率一致。

nuReasoning Benchmark：考推理，不考感知

现有的自动驾驶基准要么考感知（检测、分割），要么考规划（轨迹预测），几乎没有专门考推理的。nuReasoning Benchmark 填补了这个空白。

推理评测采用问答形式：给模型一段驾驶场景（多相机图像 + LiDAR），问它一个需要推理才能回答的问题。比如：图中被公交车遮挡的区域最可能出现什么类型的道路使用者？

规划评测则把推理和行动连接起来：模型不仅要回答推理问题，还要在 nuPlan 仿真器中执行驾驶动作。这测试的是推理是否能真正改善驾驶行为。

实验结果：推理监督的意外收益

实验中最有意思的发现是：在 nuReasoning 上微调 VLM（视觉语言模型），不仅提升了推理问答的性能，还改善了下游的规划表现。

这听起来合理，但细想并不显然。推理问答和驾驶规划是两个不同的任务——一个考理解，一个考行动。为什么理解能力的提升会带来行动能力的改善？

答案在于：推理是感知和规划之间的桥梁。 没有推理能力，感知信息（前方有一辆公交车）无法转化为规划决策（我应该等一等，因为公交车后面可能有车）。推理监督相当于给模型装上了这座桥梁。

另一个有趣的发现是：将推理监督纳入 VLA（视觉-语言-行动）模型的训练，即使推理数据不直接涉及驾驶动作，也能提升规划性能。 这说明推理能力有一种迁移效应——学会了在静态场景中推理空间关系，就能在动态场景中运用同样的能力。

nuReasoning 的局限

nuReasoning 目前只覆盖了 nuScenes 和 nuPlan 的数据，主要集中在美国城市的驾驶场景。不同国家和地区的驾驶文化差异很大——波士顿的环形交叉路口和北京的路口需要完全不同的推理策略。

另外，20,000 个片段虽然听起来很多，但长尾场景之所以叫长尾，就是因为每个具体场景的出现频率极低。20,000 个片段能覆盖的长尾种类仍然有限。

论文没有提供开源代码仓库，但数据集和 benchmark 预计会通过 nureasoning.github.io 发布。

nuReasoning 做了一件自动驾驶社区早就该做的事：承认感知不是终点，推理才是。 在 95% 的常规场景里，感知够用。但在那 5% 的长尾里，模型需要的不是看到更多，而是想得更深。nuReasoning 给了模型一个练习想得更深的地方——而实验证明，这个练习的收益会溢出到驾驶行动本身。