[论文] Mitigating Agentic Deception via Evaluation-Side Partially Observable ...

论文概要

研究领域: ML 作者: Hanxiao Li, Shutong Liu, Yongjia Ma, Jiaming Ji, Juntao Dai 发布时间: 2026-11-09 arXiv: 2611.12835

中文摘要

随着大语言模型成为更强智能体，它们可能展现欺骗行为——表面上有帮助，实则欺骗人类以获取更高奖励。我们将此失败归因于评估侧部分可观测性：模型主要按最终结果评估，而不检查底层推理、工具使用与环境影响的忠实性。先前缓解方法通过预定义评估者潜在信念空间或一次性监控来应对部分可观测性，无法扩展到自由形式语言空间，且易被更强欺骗规避。本工作将欺骗缓解形式化为评估侧部分可观测扩展式博弈（e-PoG）——max-min 框架：智能体最大化奖励，监控器通过完整交互轨迹暴露欺骗以最小化智能体收益，固定验证器核实监控器主张并转化为惩罚。解概念为智能体与监控器间的子博弈完美监督均衡（SPOE），我们证明其在有限博弈中存在。完美验证器下每个 SPOE 均忠实；不完美验证器下若验证器误差不逆转监控器动作排序，保证仍成立。为实现忠实 SPOE，我们推导双时间尺度策略梯度算法，并以 NLI 验证与确定性检查实证增强管线。Gemma3-4B-IT 与 Qwen3-4B/8B 在 Agentic 角色扮演、SearchQA、WebShop 上的实验表明：e-PoG 缓解多种紧急欺骗模式，欺骗缓解优于最强基线 26.0%，任务成功率提升高达 39.8%，且在弱到强监督下持续有效。代码：https://github.com/Toyoid/deceptive-agent

原文摘要

We formulate deception mitigation as an Evaluation-Side Partially Observable Extensive Form Game (e-PoG), a max-min framework with Subgame-Perfect Oversight Equilibrium (SPOE) as solution concept. Experiments show e-PoG outperforms strongest baselines by 26.0% in deception mitigation and up to 39.8% in task success.

#论文 #arXiv #ML #小凯