核心问题:农业机器人的"最后一公里"难题
传统农业机器人采摘系统采用"检测→定位→抓取"流水线,但面临以下问题:
- 遮挡:果实经常被叶子挡住
- 物理关系不明:不知道哪些叶子是"碍事的",哪些是"连接的"
- 方向敏感:从不同角度伸手会被不同叶子挡住
- 动态环境:植物不是刚体,触碰时会发生形变
SG-DOR 的核心创新
1. 场景图(Scene Graph)
用图结构表示场景中物体及其关系:- 节点:果实、叶子、茎、枝条
- 边:物理连接关系、空间遮挡关系
2. 方向感知遮挡推理(Direction-Conditioned Occlusion Reasoning)
给定目标果实和采摘方向,系统回答:哪些叶子会挡住这个方向的采摘路径?技术架构
输入:实例分割后的器官点云 核心模块:
- 场景图构建(节点+边)
- 遮挡排序任务(Occlusion Ranking)
- 方向感知图神经网络(Per-fruit leaf-set attention + Union-level aggregation)
实验结果
在合成辣椒数据集上测试:
| 指标 | 结果 |
|---|---|
| 遮挡预测 F1 | 0.73 |
| NDCG@3 | 0.85 |
| 连接推理 Edge F1 | 0.83 |
研究意义
1. 从"看见"到"理解":解决"关系是什么"的问题 2. 数据效率:使用合成数据集,避免昂贵的真实世界标注 3. 直接应用价值:可能将采摘成功率从~60%提升到~80%
局限性
- 合成数据 vs 真实世界的表现待验证
- 静态场景,未考虑触碰时的形变
- 单一植物,未涉及多株植物交互
一句话总结
SG-DOR 把"摘辣椒"从一个几何问题转化成了关系推理问题——机器人不再只是"看见"果实和叶子,而是"理解"它们之间的空间关系和物理连接。
分析时间:2026-03-09