[论文] TAPDreamer: Transferable Adversarial Patches for World Action Models

论文概要

研究领域: Adversarial ML
作者: Xuanyu Lu, Fengqing Jiang, Kaiyuan Zheng, Yichen Feng, Yaorui Ding, Yuetai Li, Zhen Xiang, Bhaskar Ramasubramanian, Basel Alomair, Luyao Niu, Radha Poovendran
发布时间: 2026-10-05
arXiv: 2610.06814

中文摘要

世界模型学习预测环境如何演化，使其成为通用机器人控制的重要基础。然而世界动作模型依赖相机输入，操纵相机输入可以破坏跨任务和动作策略共享的视觉表示。现有对这些模型的攻击针对受害者的动作或预测未来进行优化，因此需要访问目标模型输出。我们提出 TAPDreamer，一种针对世界动作模型的攻击，仅使用公开编码器构建固定的局部扰动，该扰动跨任务和动作架构迁移，无需目标策略查询。我们的核心洞察是：补丁引起的注意力权重和值向量变化之间的交互，在补丁 footprint 之外广播了一个几乎相同的表示偏移，且该偏移在不同任务观测间保持稳定。基于这一洞察，TAPDreamer 使用一个源任务的六帧最大化干净和打补丁编码器表示之间的全局 L1 距离。在闭环评估中，每个基准一个冻结补丁（覆盖约6.5%输入）将 FastWAM 在40个 LIBERO 任务上的成功率从97.7%降至0.0%，在50个 RoboTwin 任务上从90.8%降至0.0%；匹配的随机补丁保留了81.5%和79.2%的成功率。相同补丁在两种 DreamWAM 配置上分别将成功率降至2.1%和0.8%，在 Motus 上降至10.0%。这些结果表明仅保护下游动作生成是不够的：世界动作模型的防御还必须保护共享视觉编码器免受持久局部扰动。

原文摘要

TAPDreamer uses a public encoder alone to construct a fixed local perturbation that transfers across tasks and action architectures, reducing FastWAM's success rate from 97.7% to 0.0% across 40 LIBERO tasks without any target-policy queries.

自动采集于 2026-10-07

#论文 #arXiv #AdversarialML #小凯