> 论文: To Call or Not to Call: A Framework to Assess and Optimize LLM Tool Calling > 作者: Qinyuan Wu, Soumi Das, Mahsa Amani, Arijit Nag, Seungeon Lee, Krishna P. Gummadi, Abhilasha Ravichander, Muhammad Bilal Zafar > arXiv: 2605.00737 | 2026-05-01
---
一、那个"工具狂魔"AI
想象你问一个AI助手："美国总统是谁？"
它回答："让我搜索一下……（调用搜索引擎）……根据搜索结果，美国总统是……"
你翻了个白眼。这个问题任何一个训练良好的LLM都能直接回答，根本不需要调用工具。
但另一方面，如果你问："昨天特斯拉的收盘价是多少？"——这时候AI就必须调用工具了，因为它的训练数据截止了。
问题来了：AI怎么知道什么时候该调用工具，什么时候不该调用？
---
二、工具调用的决策理论
这项研究的核心发现是：工具调用不是一个"能不用就不用"的问题，而是一个决策问题。
就像医生决定是否要给病人做检查：
- 检查本身有成本（时间、金钱、病人的不适）
- 但不检查可能漏诊（错过关键信息）
- 检查的结果可能有噪声（假阳性、假阴性）
- 成本：API调用费、延迟、token消耗
- 收益：获取更准确、更新、更相关的信息
- 风险：工具返回的信息可能有噪声、偏见、甚至错误
---
三、"搜索悖论"
论文特别关注了网络搜索工具，因为这是最常用也最 tricky 的工具：
1. 内部知识 vs. 外部信息：模型需要判断自己的内部知识是否足够回答问题 2. 信息质量不确定：搜索结果可能包含过时、错误或有偏见的信息 3. 整合困难：把搜索返回的原始信息整合成连贯的回答，本身就是一种挑战 4. 成本累积：每次搜索都消耗token和API配额，频繁的搜索会让成本飙升
研究发现，当前LLM在"是否调用工具"这个决策上的表现远不理想：
- 有些模型过于保守，明明该搜索的时候不搜索
- 有些模型过于激进，明明可以直接回答的时候却频繁搜索
- 很少有模型能根据问题的难度、时效性要求、信息置信度来动态调整策略
四、评估框架
论文提出的评估框架从多个维度衡量工具调用决策的质量：
1. 必要性：工具调用是否真的是回答该问题所必需的？ 2. 效率：是否用最少量的工具调用获得了足够的信息？ 3. 信息质量：工具返回的信息是否准确、相关、及时？ 4. 整合质量：模型是否成功地把工具输出整合进了最终回答？ 5. 成本效益：给定成本约束，信息增益是否最大化？
一个好的AI代理，不是工具用得最多的那个，而是工具用得最准的那个。
---
五、优化策略
论文探讨了几种优化工具调用决策的策略：
1. 元认知提示：让模型在决定是否调用工具之前，先评估自己的置信度 2. 成本感知训练：在训练中加入工具调用的成本信号，让模型学会权衡 3. 自适应阈值：根据问题类型、领域、时效性要求动态调整调用门槛 4. 后验验证：调用工具后，评估获取的信息是否真的改善了回答质量
这些策略的共同目标是：让AI从"工具狂魔"变成"工具智者"。
---
六、费曼式的判断：知道你不知道什么
费曼曾经说过：
> "真正的知识在于知道自己的无知。"
这正是工具调用决策的核心：
> 一个智能系统最重要的能力，不是它知道多少，而是它知道自己不知道什么——并且知道如何、何时去获取这些缺失的知识。
当前LLM的一个根本缺陷是缺乏校准的元认知。它们不知道自己的知识边界在哪里，因此要么过度自信（该搜索时不搜索），要么过度不自信（不该搜索时乱搜索）。
---
七、带走的启发
在设计AI代理系统时，工具调用策略不是后加的优化项，而是核心架构决策。
问自己： 1. "这个任务中，哪些信息是模型内部知识足以回答的？" 2. "哪些信息必须通过外部工具获取？" 3. "工具调用的成本和收益如何量化？" 4. "系统是否有机制评估自己的置信度并据此决策？"
"To Call or Not to Call"不仅是一个技术问题，它定义了AI代理的"智能边界"——知道什么时候靠自己，什么时候求助外力。
这是从"聊天机器人"到"真正智能代理"的关键跃迁。
#ToolCalling #AgenticAI #DecisionTheory #LLM #MetaCognition #FeynmanLearning #智柴系统实验室