当机器人看花了眼：一个"擦掉目标"的推理时小技巧
场景：杂乱桌面上的"抓错对象"
想象一个机器人站在桌前。桌面上摆着红色、绿色、蓝色、黄色的积木，旁边还有几个干扰物——一个马克杯、一支笔、一张揉皱的纸巾。人类下达指令："抓起红色积木，放到白色区域。"
机器人启动了。它的视觉-语言-动作（VLA）策略——可能是 π₀.5，也可能是 OpenVLA——快速规划出一条流畅的抓取轨迹。机械臂伸出、下降、闭合夹爪——
抓起了绿色积木。
这不是动作失败。轨迹是合理的，运动是平滑的，时机是准确的。失败发生在更早的一步：实例级定位。策略的注意力被周围相似物体分散了，它在"抓哪个"这个决策上就错了。
TAG（Target-Agnostic Guidance）就是冲着这个失败模式来的。作者团队（Jiaying Zhou、Zhihao Zhan 等）发现：VLA 模型在杂乱场景中的大部分错误，不是"怎么抓"的错误，而是"抓哪个"的错误。于是他们提出了一个简单到几乎不需要改架构的推理时引导机制——把目标擦掉，看看模型会怎么想，然后用两次预测的差值来修正决策。
灵感来源：分类器无关引导（CFG）
如果你熟悉扩散模型，一定听过 Classifier-Free Guidance（CFG）。Stable Diffusion 之所以能精准地"按提示词生成图像"，靠的就是 CFG：训练时随机丢弃条件（比如文本提示），推理时用"有条件预测"减去"无条件预测"，再放大差值，让生成结果更紧地贴合条件。
TAG 把这个思路从语言模态搬到了视觉模态。在 VLA 模型里，已有的 CFG 应用主要是"随机丢弃语言指令"——让模型学会在没有指令时也能产生合理动作。但 TAG 注意到了一个未被探索的方向：视觉条件的解耦。
具体来说，TAG 构造了一个"目标无关"的视觉基线——把目标物体从画面中擦掉，保留背景和其他物体。然后让策略在原始画面和擦除画面上各做一次预测，用两者的差作为"目标证据的残余信号"，放大它，让决策更紧地贴合目标物体。
三种擦除方式
TAG 设计了三种构造"无条件视觉输入"的变体：
- Variant A（Background-only, BG）：只保留背景，移除所有可操作物体。
- Variant B（Target-erased, Erase）：只擦除目标物体，保留其他物体和背景。
- Variant C（Black-only, Black）：整个画面替换为黑色。
训练-推理的不对称设计
这里有个精妙的设计选择：训练时和推理时用的擦除策略不需要一致。
为什么？作者解释道：训练时用 Erase 帧（目标被擦但其他物体保留），迫使模型学会在"目标缺失但上下文存在"的情况下产生合理预测。推理时用 BG 帧（只剩背景），因为背景是更稳定的"无条件基线"——它不含任何可操作物体，是最纯粹的"没有目标信息"的状态。
这种不对称不是 bug，是 feature。训练时的 Erase 让模型学会"区分有目标和没目标"，推理时的 BG 提供了一个干净的对照基线。两者形成的差值，恰好捕捉了"目标物体对决策的贡献"。
数据说话：从 29.4% 到 55.4%
TAG 的实验结果令人印象深刻。
LIBERO 基准测试：π₀.5 基线平均成功率 95.2%，加上 TAG-bg 后提升到 97.9%（+2.7%）。在最具挑战性的 LIBERO-Long 类别（需要执行复杂的长序列操作）上，提升最为显著：从 89.6% 提升到 97.0%。这验证了作者的假设——显式地消除背景干扰，能让模型在长序列任务中保持对操作目标的注意力，而长序列任务正是误差累积最严重的地方。
LIBERO-Plus 鲁棒性测试：这是在分布外扰动下评估的——相机视角变化、机器人外观变化、语言表述变化、光照变化、背景纹理变化、噪声、布局变化。π₀.5 基线平均 81.4%，TAG-bg 提升到 86.1%（+4.7%），TAG-black 提升到 87.2%（+5.8%）。在"相机视角变化"这一项上，TAG-black 从 64.8% 提升到 77.5%（+12.7%）——视角一变，背景就变了，而 TAG 恰好是抑制背景干扰的。
VLABench 杂乱场景：这是最能体现 TAG 价值的测试。在"从扑克牌堆中选择指定牌"的任务中，π₀.5 基线只有 29.40% 的成功率——视觉干扰太严重了。加上 TAG-bg 后，成功率飙升到 55.41%，几乎翻倍。在"从麻将牌堆中选择指定牌"的任务上，从基线提升到 58.16%。
引导尺度的甜蜜点
TAG 有一个关键超参数：引导尺度 w。它控制"放大目标证据"的强度。
实验发现 w=1.25 是最佳值。在这个尺度下，LIBERO-Long 的成功率从 89.6% 跳到 94.6%。但当 w 过大时，性能开始回退——w=8 时平均成功率降到 70.85%，w=15 时只有 51.65%。
作者给出了一个直觉解释：过强的引导扭曲了模型在训练中学到的自然动作分布流形。这和扩散模型里 CFG 尺度过大会导致图像失真是同一个道理——适度引导修正偏差，过度引导制造幻觉。
注意力可视化的证据
为了验证 TAG 确实在"改变模型的注意力"，作者做了注意力图可视化。在 VLABench 的杂乱场景中，基线 π₀.5 的注意力图是弥散的——它把注意力分散在多个视觉相似的目标上。而加上 TAG 后，注意力集中在语言指令指定的目标上。
这直接对应了性能提升的来源：TAG 不是让模型"动得更好"，而是让模型"看得更准"。
为什么这个工作重要
TAG 的价值不在于它提出了一个全新的架构，而在于它精准地诊断了一个失败模式，然后用最小侵入性的方式修复它。
VLA 模型的失败不是随机的——它有一个系统性的模式：动作合理但目标错误。这个模式指向一个具体的机制问题：实例级定位在杂乱场景中不可靠。TAG 的解法是：不改架构、不改训练目标，只在推理时加一个"对照实验"——擦掉目标看看模型会怎么想，用差值修正决策。
这个思路的优美之处在于它借用了扩散模型领域已经验证过的 CFG 框架，但把它扩展到了一个新模态（视觉空间）和一个新任务（机器人操作）。好的方法不需要发明新轮子，只需要在合适的地方用上已有的轮子。
局限与展望
TAG 不是万能的。它依赖于"能构造出合理的目标擦除观察"这一前提——在训练时需要合成 Erase 帧，在推理时需要实时或离线生成 BG 帧。对于高度动态的场景或难以分割目标的场景，这个前提可能不成立。
但作为一种推理时引导机制，TAG 为 VLA 模型的鲁棒性提升提供了一个简洁、高效、即插即用的方案。它不需要重新训练模型，不需要修改架构，只需要在推理时多做一次前向传播——这个代价对于提升 2-12 个百分点的鲁棒性来说，是值得的。
---
论文: arXiv:2603.24584 作者: Jiaying Zhou, Zhihao Zhan, Ruifeng Zhai, Qinhan Lyu, Hao Liu 代码: 论文未提供开源代码仓库 核心贡献: 将 CFG 从语言模态扩展到视觉模态，为 VLA 模型的实例级定位问题提供推理时解决方案