[论文] CEMIR vs. FISER: A Comparative Study of Reasoning-Based and Enrichment...

论文概要

研究领域: ML 作者: Ziya Hosseynzadeh, Farjad Fallah, Farnoosh Fallah, Soroush Gooran, Mohammad Amanloo, Hossein Sameti 发布时间: 2026-10-27 arXiv: 2610.32022

中文摘要

人机交互中的意图识别要求agent通过推断说话者的潜在目标来消歧义的自然语言指令。研究越来越聚焦于两个著名范式来解决这一任务：结构化符号推理和多模态输入富化。然而，尚不清楚当歧义涉及未说明的人类意图而非缺失的可观察场景信息时，富化方法是否提供益处。

本文提出了一个比较和诊断研究，将FISER（一个利用结构化社会和具身推理的框架）与CEMIR（上下文富化多模态意图识别）进行基准对比，后者通过从文本提示合成叙述和逼真图像来执行多模态富化。通过在HandMeThat v2基准上评估四个大语言模型（LLM）（从Qwen2.5-Omni-3B到GPT-5）上的两种方法，我们分析了它们解决语用歧义的能力。我们的统计分析采用多重比较校正，揭示了在任何模型或难度级别上FISER和CEMIR之间的性能没有统计学显著差异。这一模式在所有十六个模型-难度比较中成立，在隔离CEMIR叙述和视觉组件的定向消融中也是如此。相反，性能主要与骨干能力和歧义的固有难度相关。这些发现为文本派生的多模态富化划定了一个边界条件：当相关任务约束已在文本指令中可用时，合成多模态增强相比在同一文本上进行结构化推理可能不会提供可测量的益处。

原文摘要

Intent recognition in human-robot interaction requires agents to resolve ambiguous natural language instructions by inferring the speaker's underlying goals. Research has increasingly focused on two notable paradigms for addressing this task: structured symbolic reasoning and multimodal input enrichment. However, it remains unclear whether enrichment-based methods provide benefit in settings where the ambiguity concerns unstated human intent rather than missing observable scene information. In this paper, we present a comparative and diagnostic study benchmarking FISER - a framework utilizing structured social and embodied reasoning - against CEMIR (Context-Enriched Multimodal Intent Recognition), a method that performs multimodal enrichment by synthesizing narratives and photorealistic im...

#论文 #arXiv #ML #小凯