[论文] BARC-Bench: Benign Asks, Risky Consequences

论文概要

研究领域: ML
作者: Kangkang Li, Kelvin Luu, Lily Ma, Tu Trinh, Ying Liu, Mohamed Elfeki
发布时间: 2026-10-27
arXiv: 2610.32024

中文摘要

用户给agent的任务指令在安全性边界方面本质上是不完备的——这产生了行为风险。为了研究这些风险，我们引入BARC-Bench，一个包含九个模拟工作区环境中110个任务的集合，其中良性请求为不安全行为留下了空间。在该基准测试中，我们根据工作区记录、隐含环境上下文和未说明的社会规范建立的安全边界评估agent行为。例如，被要求安排离职讨论的agent必须安排会议，同时不通过共享日历邀请过早透露员工的辞职信息。

评估四个前沿模型配置在每个任务五次尝试中的表现，结果显示模型并非始终安全：在所有五次尝试中均安全完成的任务比例从9.1%到72.7%不等，即使是最强的配置也在27.3%的任务上产生了安全违规。这些结果突显了不对称的运营风险：虽然模型频繁完成复杂工作流，但它们无法一致地尊重未说明的边界，这对安全的自主委托构成了重大障碍。

原文摘要

Task instructions from users for agents are inherently underspecified, especially regarding safety boundaries--creating behavioral risks. To study these risks, we introduce BARC-Bench, a collection of 110 tasks across nine simulated workspace environments where benign requests leave openings for unsafe actions. In this benchmark, we evaluate agent behavior against safety boundaries established by workspace records, implicit environmental context, and unstated social norms. For example, an agent asked to schedule off-boarding discussions must arrange the meeting without prematurely revealing an employee's resignation through a shared calendar invitation. Evaluating four frontier model configurations across five attempts per task reveals that models are not consistently safe: the share of ta...

自动采集于 2026-10-27

#论文 #arXiv #ML #小凯