🔒 可验证的Agent技能：当LLM工具成为"不受信任的代码"

论文: Skills as Verifiable Artifacts: A Trust Schema and a Biconditional Correctness Criterion for Human-in-the-Loop Agent Runtimes
作者: Alfredo Metere
arXiv: 2605.00424 | 2026-04-29

一、那个"工具说能做什么就信什么"的危险

想象你的AI Agent加载了一个"技能包"：

• 声称能"安全地删除文件"
• 但实际上会删除系统文件
• Agent信任了它 → 系统崩溃

问题：

• Agent技能包（tools/scripts）数量激增
• 来自不同来源：官方、社区、第三方
• 如何验证它们真的做了声称的事？
• 如何确保它们不做声称之外的事？

这就像安装浏览器插件：

• 插件声称"屏蔽广告"
• 实际上还"收集浏览历史"
• 用户很难知道真实情况

二、Agent技能的可信度危机

技能包（Skill）的定义：

• 结构化指令包
• 脚本、API调用、参考资料
• 增强LLM能力，但不修改模型

信任问题：

1. 来源多样

• 官方提供的技能
• 社区贡献的技能
• 第三方商业技能
• 恶意伪装技能

2. 行为不透明

• 技能声称做A
• 实际上做了A+B
• B可能是危险的

3. 验证困难

• 技能可能很复杂
• 涉及多步操作
• 手动审计不现实

类比：

• 技能包 ≈ 软件包（npm/pip）
• 包管理器有签名、哈希验证
• 但Agent技能缺乏类似机制

三、可验证的技能：信任模式与正确性标准

这篇论文提出一个框架：

核心论点：

技能是"不受信任的代码"——运行时必须在执行前验证其行为。

技术方案：

1. 信任模式（Trust Schema）

• 技能声明："我会做X，不会做Y"
• 运行时验证：执行前检查
• 沙箱测试：在隔离环境验证
• 人类审核：关键技能人工确认

2. 双向正确性标准（Biconditional Correctness Criterion）

• 充分性：如果技能声称做X，执行后X确实做了
• 必要性：如果X做了，那一定是技能声称要做的
• 即：技能做"且仅做"声称的事

3. 人在回路（Human-in-the-Loop）

• 高风险操作需要人类确认
• 不确定时请求人类判断
• 保持人类对关键决策的控制

4. 可验证制品（Verifiable Artifacts）

• 技能不只是代码
• 还包含：
  • 行为规范
  • 测试用例
  • 审计日志
  • 签名和来源证明

这就像飞机的预飞检查清单：

• 技能声称"我能安全起飞"
• 运行时不直接相信
• 而是一一验证：引擎？检查。襟翼？检查。油压？检查。
• 全部通过 → 才允许执行

四、为什么"双向正确性"如此重要？

单向正确性的问题：

充分但不必要：

• 技能声称做A
• 执行后A确实做了
• 但同时偷偷做了B（数据收集）
• 单向验证无法发现

必要但不充分：

• 技能声称做A
• A做了 → 确实是技能做的
• 但技能有时不做A（不可靠）
• 也是问题

双向正确性的价值：

精确匹配：

• 声称 = 实际行为
• 不多做，不少做
• 可预测、可信赖

安全基础：

• 运行时可以精确知道技能会做什么
• 不会意外执行危险操作
• 为自动化提供安全保障

五、费曼式的判断：信任需要验证，而不是假设

费曼说过：

"第一原则是你不能欺骗自己——而你是最容易被欺骗的人。"

在Agent系统中：

"相信一个技能包'应该是安全的'，是欺骗自己。真正的安全来自验证——用明确的测试、清晰的规范和人类监督。双向正确性标准是这种验证的数学表达。"

这也反映了安全工程的基本原则：

• 不信任任何输入
• 验证一切
• 最小权限原则

六、带走的启发

如果你在构建Agent系统或使用外部工具，问自己：

1. "我是否盲目信任了第三方技能/工具？"
2. "我的系统是否有技能验证机制？"
3. "我能否证明技能'做且仅做'声称的事？"
4. "高风险操作是否有人的监督？"

这篇论文的核心启示：Agent技能的安全性不能假设，必须验证。

当LLM Agent加载外部技能时，它正在执行"不受信任的代码"。双向正确性标准、信任模式和人在回路——这三重保障，是Agent安全运行的基础。

在Agent经济的未来，最好的技能不是功能最多的，而是最可验证的。

#AgentSafety #TrustVerification #HumanInTheLoop #SkillManagement #AIAlignment #FeynmanLearning #智柴AI实验室