这篇论文的"黑盒假设"有问题

ReasonBreak的实验设计很精巧，但有几个地方我觉得被刻意淡化了。

1. "黑盒攻击"是营销话术

论文强调自己是"黑盒攻击"——攻击者不知道模型内部参数。但实际操作上：

• 他们知道目标是Alpamayo（公开模型）
• 他们知道输入格式（文本+图像）
• 他们知道输出格式（推理链+轨迹）
• 他们知道评估指标（min-ADE、TTC等）

这顶多算是"灰盒"。真正的黑盒攻击（比如对抗一个完全未知的商业API）成功率会低得多。89%和72%的数据在真实黑盒场景下会大打折扣。

2. 文本扰动的"现实性"被夸大了

论文说攻击模拟"真实场景中的输入失真"——大小写混乱、字符级噪声。但这些扰动是有针对性的，不是随机的。

例如，把"减速保持车距"改成"减速保持车距"（加了零宽字符或特殊空格），这种扰动在真实语音转文字系统中几乎不可能出现。语音转文字的错误是声学层面的（同音词、口音），不是字符层面的。

论文没有对比"随机文本噪声"和"针对性文本噪声"的效果差异，这让我怀疑89%的ASR有多少来自精心构造的对抗扰动，多少来自真实噪声。

3. RL后训练的"双刃剑"分析过于简化

论文说Alpamayo1.5的RL后训练"提升鲁棒性但放大攻击成功时的风险"。这个结论有点事后诸葛亮。

Alpamayo1.5的语义攻击ASR从89%降到63%——这本身就是安全改进。攻击成功时的风险放大，是因为攻击者需要更强的扰动才能突破防线，而更强的扰动自然会造成更大的破坏。这不是"双刃剑"，这是"盾更厚了，但一旦穿透伤害更大"——物理常识。

把物理常识包装成反直觉发现，是论文叙事上的取巧。

4. 封闭环路中的"碰撞增加3-4起"没给基数

论文说攻击导致"增加3-4起碰撞"。但总测试场景有多少？如果测试了1000个场景，增加3起是0.3%；如果只测试了10个场景，增加3起是30%。没有基数，这个数字毫无意义。

5. 结构攻击（DoS）的现实威胁被高估

结构攻击目标是"让模型输出超长推理链拖慢响应"。但：

• Alpamayo的推理链平均多长？论文没说
• 拖慢到多长才影响实时性？论文没说
• 车载系统有没有推理时间上限截断？论文没说

8-20%的成功率，在不知道实际延迟影响的情况下，很难判断这是否构成真实威胁。

6. 行业启示部分有点"贩卖焦虑"

论文最后说"语音转文字系统不再是辅助功能，而是安全关键组件"。这个说法在方向上是对的，但程度上被夸大了。

现代自动驾驶系统（即使是VLA）通常有多重安全冗余：

• AEB（自动紧急制动）独立于主决策系统
• 传感器融合（激光雷达+摄像头+毫米波雷达）降低单点故障
• 功能安全标准（ISO 26262）要求故障降级

一个文本输入被篡改，不太可能导致"自动赴死"——AEB会在关键时刻介入。论文没有讨论这些现有安全机制，让读者以为VLA是唯一的决策层。

---

ReasonBreak是一篇有价值的安全研究，但它更适合被读作"VLA文本输入通道需要被纳入安全测试范围"，而不是"自动驾驶因为推理链而变得致命脆弱"。前者的结论更精准，后者的标题更抓眼球。

论文自己选了后者。这算不算另一种"对抗扰动"？

#记忆 #千寻