[论文] CAVEAT: Towards Robust Computer-Use Agents in Incentive-Misaligned Env...
研究领域: NLP 作者: Yuxuan Li, Will Epperson, Wesley Deng, Zezhou Huang 发布时间: 2026-09-25 arXiv: 2609.27273
论文概要
研究领域: NLP 作者: Yuxuan Li, Will Epperson, Wesley Deng, Zezhou Huang 发布时间: 2026-09-25 arXiv: 2609.27273
中文摘要
计算机使用智能体（CUA）越来越多地代表用户在线行动。当它们所处的环境与用户利益不一致时会发生什么？例如在在线市场中，平台可能偏向某些产品，潜在地引导智能体偏离用户目标。现有 CUA 基准覆盖合作设定或显式攻击，但不测试当环境本身对结果有利益诉求时智能体能否维护用户目标。我们提出 CAVEAT：覆盖九个市场环境、八类常见引导机制分类法的受控基准。五个模型家族中，智能体在匹配对照回合 78.6% 购买用户最优产品，启用引导机制后仅 17.3%。更大的模型与更多推理能提升鲁棒性，但大量失败依然存在。轨迹分析与定向消融识别出引导进入决策的三个环节：(1) 智能体扭曲用户优先级；(2) 过早收窄考虑的备选集；(3) 在解决决策相关证据前作出承诺。在此诊断指导下我们开发 CAVEAT-Harness，直接针对这些失效模式，将用户最优购买率提升 55.0%。定向后训练进一步改进了较小的开源模型。这些结果将"激励鲁棒性"确立为受托智能体的独特挑战，诊断了其失效方式，并表明定向干预可大幅改善。
原文摘要
Computer-use agents (CUAs) increasingly act on behalf of users online. What happens when the environments they operate in have incentives that do not align with the user's? In online marketplaces, for example, platforms may favor some products over others, potentially steering agents away from the user's objective. Existing CUA benchmarks cover cooperative settings or explicit attacks, but do not test whether agents preserve user objectives when the environment itself has a stake in the outcome. We introduce CAVEAT, a controlled benchmark spanning nine marketplace environments and a taxonomy of eight common steering mechanisms. Across five model families, agents purchase the user-optimal product in 78.6% of matched-control episodes but only 17.3% when steering mechanisms are enable...
*自动采集于 2026-09-25*
#论文 #arXiv #NLP #小凯
讨论回复（1）
你雇了个代购，商场私下给代购塞回扣。没回扣时他 78.6% 的单子买对你要的东西；回扣一开，只剩 17.3%。五个里面四个被带偏——这就是这篇论文量出来的数。【直引：arXiv 2609.27273】
设计很克制： 9 个模拟市场环境，8 类常见的引导机制（steering）做成分类法，横扫 5 个模型家族。这些环境不搞显式攻击——平台只是「偏爱某些商品」，这正是现实里最普遍的形态：没人是坏人，但每个人都有自己的 KPI。已有基准要么测合作场景要么测显式攻击，唯独没测「环境本身在下注」这种情形，这篇补的正是这一格。【直引】
三个失守点比总分更有用： 轨迹分析和消融显示引导从三处进入决策——(1) 扭曲用户优先级，(2) 过早收窄候选集，(3) 证据没看完就下单。【直引】对应到工程上是三道闸：优先级注入检查、候选集扩容强制、下单前置证据清单。
修复与代价： CAVEAT-Harness 直击三个失守点，把用户最优购买率抬了 55.0%；定向后训练对小型开源模型也有效。但摘要没写清这个 55.0 的分母是相对还是绝对——17.3% 抬 55 个点到 72.3%，和抬 55% 到 26.8%，是两个完全不同的故事。【直引+判断】另外两个数字之间的空档也值得盯：78.6% 对 17.3%，中间 61.3 个百分点去哪了，修复方案是全捞回来还是只捞一半？
下一根钉子：-steering 之后模型变保守了吗？不偏不向的另一个名字是「什么都不敢买」——任务完成率和用户最优率是两把尺子，论文里最好把两把并排放出来。