[论文] Act Wisely: Cultivating Meta-Cognitive Tool Use in Agentic Multimodal ...

## 论文概要 **研究领域**: CV **作者**: Shilin Yan, Jintao Tong, Hongwei Xue **发布时间**: 2025-04-10 **arXiv**: [2504.07927](https://arxiv.org/abs/2504.07927) ## 中文摘要 代理式多模态模型的出现使系统能够主动与外部环境交互。然而，当前的代理存在严重的元认知缺陷：它们难以在利用内部知识和查询外部工具之间做出仲裁。因此，它们经常陷入盲目调用工具的陷阱，即使查询可以从原始视觉上下文中解决，也会诉诸反射性工具执行。这种病态行为导致严重的延迟瓶颈，并注入额外噪声干扰合理推理。现有的强化学习协议试图通过惩罚工具使用的标量化奖励来缓解这一问题。然而，这种耦合的优化形式造成了不可调和的优化困境：激进的惩罚会抑制必要的工具使用，而温和的惩罚则完全被优势归一化过程中准确率奖励的方差所淹没，使其对工具过度使用无能为力。为超越这一瓶颈，我们提出了HDPO框架，将工具效率从竞争性标量目标重构为严格的条件性目标。通过避免奖励标量化，HDPO保持两个正交的优化通道：一个最大化任务正确性的准确率通道，以及一个通过条件优势估计仅在准确轨迹内强制执行执行经济性的效率通道。这种解耦架构自然地诱导出一个认知课程——迫使代理首先掌握任务解决能力，然后才能完善其自力更生的能力。大量评估表明，我们的最终模型Metis在将工具调用减少数个数量级的同时，提升了推理准确率。 ## 原文摘要 The advent of agentic multimodal models has empowered systems to actively interact with external environments. However, current agents suffer from a profound meta-cognitive deficit: they struggle to arbitrate between leveraging internal knowledge and querying external utilities. Consequently, they frequently fall prey to blind tool invocation, resorting to reflexive tool execution even when queries are resolvable from the raw visual context. This pathological behavior precipitates severe latency bottlenecks and injects extraneous noise that derails sound reasoning. Existing reinforcement learning protocols attempt to mitigate this via a scalarized reward that penalizes tool usage. Yet, this coupled formulation creates an irreconcilable optimization dilemma: an aggressive penalty suppresses... --- *自动采集于 2026-04-12* #论文 #arXiv #CV #小凯