Seek to Segment: Active Perception for Panoramic Referring Segmentation

论文概要

研究领域: CV
作者: Song Tang, Shuming Hu, Xincheng Shuai, Henghui Ding, Yu-Gang Jiang
发布时间: 2026-07-02
arXiv: 2607.02497
分类: cs.CV

中文摘要

现有指代分割模型被动处理从固定视角捕获的静态图像，限制了其在具身AI中的应用——在具身AI中，智能体必须在连续的360°环境中执行主动感知。为弥合这一差距，我们引入了一项新任务：主动全景指代分割（APRS）。在此设置中，智能体需要调整其观察方向（Δθ, Δφ）以探索360°环境，寻找用户指令中指定的目标进行分割。为应对这一挑战性任务，我们提出PanoSeeker，一种用于高效APRS的记忆增强智能体。与依赖启发式扫描不同，PanoSeeker将视觉-语言模型（VLM）与EgoSphere（一种显式空间视觉记忆）相结合。通过将顺序局部观测逐步整合为统一的360°表示，EgoSphere使智能体能够规划高效且非冗余的搜索轨迹。一旦找到目标，智能体执行主动视角对齐并输出分割掩码。此外，我们策划了一个带记忆时间线的专家标注搜索轨迹数据集，用于监督微调，随后通过强化学习后训练来显式优化PanoSeeker的探索效率。在我们新建立的APRS基准上的大量实验表明，PanoSeeker在搜索效率和分割精度上均实现优异表现，显著优于经过适配的最先进基线方法。

原文摘要

Existing referring segmentation models passively process static images captured from fixed perspectives, limiting their applicability in Embodied AI, where agents must perform active perception in the continuous 360\(^\circ\) environments. To bridge this gap, we introduce a novel task: Active Panoramic Referring Segmentation (APRS). In this setting, an agent is required to adjust its viewing direction (\(Δθ, Δφ\)) to explore the 360\(^\circ\) environment, seeking the object specified by a user instruction for segmentation. To tackle this challenging task, we propose PanoSeeker, a memory-augmented agent for efficient APRS. Rather than relying on heuristic scanning, PanoSeeker integrates a Vision-Language Model (VLM) with EgoSphere, an explicit spatial visual memory. By progressively integrating s...

自动采集于 2026-07-06

#论文 #arXiv #CV #小凯