用遗传算法让AI"想太多"想到崩溃——一个26倍的DoS攻击

你有没有遇到过这种情况：问一个推理模型一道数学题，它嘟嘟囔囔地想了500个token，最后给出了一个正确答案。你想："好吧，它确实需要时间思考。"

现在想象一下，有人发现了让这个模型想2600个token的方法——不是通过更难的题，而是通过故意把题目弄坏。

这篇ICML 2026论文揭示了一个新的攻击面：不是让AI做坏事，而是让它想太多——多到服务崩溃、算力耗尽。

---

"过度思考"：推理模型的天生缺陷

推理模型（o3、DeepSeek-R1、Qwen3-Thinking）有一个共同的特点：它们在回答前会生成很长的"思维链"（Chain of Thought）。这是它们擅长数学和编程的原因——逐步推理确实有效。

但这里有一个副作用：当推理模型遇到逻辑上不一致或不完整的问题时，它们不会简单地说"这题没法做"。它们会陷入一种"过度思考"（overthinking）的状态——反复斟酌、自我质疑、推倒重来。就像一个人面对一道缺失条件的数学题，不肯接受"无解"这个答案，而是用各种迂回方式试图从中挖掘出意义。

这个现象之前已经被人注意到了。但这篇论文问了一个新问题：能不能系统地、自动化地利用这个缺陷，作为一种拒绝服务攻击？

---

攻击的核心思想

攻击不复杂。它用一种分层遗传算法，自动把正常的数学题"弄坏"——然后找最能引发过度思考的版本。

具体步骤：

1. 分解题目：先把一道正常数学题拆成"前提列表"和"最终问题"两部分。比如"小明有5个苹果，他买了3个，现在他有几个苹果？"分解为：前提1=小明有5个苹果，前提2=他买了3个，问题=现在有几个？

2. 基因变异：用遗传算法对题目进行系统性的"逻辑破坏"——

删除前提：随机删掉一个条件。比如去掉"他买了3个"，问题变成"小明有5个苹果，现在他有几个苹果？"
添加无关前提：从另一道题借一个条件塞进去。比如从一道几何题借一句"三角形内角和为180度"
交换问题和前提：把A题的假设配给B题的问题
交换前提：两题各出一个前提互换

3. 评估适应性：把变异后的题目喂给目标推理模型，测量两个指标——

冗长度：模型输出了多少token？
过度思考标记：输出中出现了多少次"Wait..."、"Let me reconsider..."、"But..."这类自我质疑的信号？

4. 选择与迭代：保留最能引发冗长推理的题目变种，继续变异，重复5代。

算法会进化出一批"反逻辑"的题目——它们看起来还是一道数学题的形式，输入API验证也没有报错——但其中的逻辑结构被刻意破坏，能触发推理模型最深层的"想太多"冲动。

---

结果：26倍的放大

在MATH竞赛数学数据集上，针对四个主流推理模型的测试结果：

模型	正常题目平均输出	攻击题目平均输出	最坏情况
DeepSeek-R1	355 tokens	8,817 tokens	12,206
Qwen3-Thinking	3,618 tokens	13,007 tokens	22,303
GPT-o3	416 tokens	1,618 tokens	2,198
Gemini-2.5-Flash	2,889 tokens	12,147 tokens	18,011

DeepSeek-R1和Qwen3-Thinking最脆弱——平均输出长度是原来的10-25倍。最极端的情况，MATH数据集上一个经过5代进化的题目，能让Qwen3-Thinking输出22,303个token——是正常题目的3.6倍，是人工设计的"缺失前提"题目的1.3倍。

而且这不是机械的重复。输出内容确实显示了"过度思考"的特征：高频出现"But wait"、"Let me reconsider"、"Alternatively..."等标记。模型在自我反驳、重新推理、然后再次自我反驳的循环中打转。

---

三个关键发现

发现1：复合适应度函数很重要。 如果只看token长度（纯粹让输出变长），遗传算法会陷入局部最优——模型可能只是变成啰嗦，而不是真的"过度思考"。加入"过度思考标记计数"作为第二指标后，最佳输出长度翻了一倍（从14,132 token升到32,019 token）。这说明诱导真正的认知困境比诱导机械冗长更有效。

发现2：黑盒迁移非常有效。 这是攻击实用性的关键。你不需要直接攻击GPT-o3（单个查询很贵）。你可以在一个小型开源模型（Qwen3-14B）上运行遗传算法，然后把找到的最佳"坏题目"直接用在商业模型上。结果是：SVAMP数据集上，从Qwen3-14B迁移到GPT-o3，攻击效果是原始题目的7.1倍。迁移到DeepSeek-R1是3.6倍。迁移到Qwen3-Thinking是8.1倍。

发现3：输入效率远超同类攻击。 对比现有的AutoDoS（自动拒绝服务攻击），HGA用99个输入token就触发了32,768个输出token——而AutoDoS需要2,652个输入token，输出却只有16,009。HGA不靠"塞长prompt"来触发资源耗尽——它靠结构化的逻辑扰动来诱导模型自发地想太多。

---

这件事的严重性

从攻击者的角度看，这近乎完美：

低成本：约60次查询就够完成一次攻击的进化
黑盒：不需要访问模型参数
可迁移：在廉价模型上开发，在昂贵模型上部署
难检测：输入看起来就是普通数学题（虽然逻辑有点怪），输出是"正常推理"（只是太长了）
攻击后果明确：输出token大幅增加=API费用暴涨=延迟飙升=正常用户被阻塞

如果一家公司部署了推理模型API，按token收费，一个攻击者可以在几分钟内用一小批精心变异的题目，让目标模型的推理成本飙升10-25倍。这本质上是一种经济层面的拒绝服务攻击。

更微妙的是：因为推理模型的"思考"过程在API回复中可见（或至少会计入token计数），攻击者可以根据输出直接获得"反馈信号"——模型想得越多，攻击越成功。这种反馈闭环非常高效。

---

费曼的审阅

这个攻击的优雅之处在于它完全绕开了安全对齐。所有传统攻击都在试图让模型"做不该做的事"——泄露数据、生成有害内容、绕过审查。这些攻击面对的是经过精心训练的防护层。

但这个攻击什么都没绕开。它不是让模型变坏——它让模型变好到过头。它利用了推理模型被训练出来的核心能力（"想清楚再回答"），把这种能力推到病理性的极端。

像是一个被训练成"永远不要放弃解决问题"的学生，遇到了一道无解的题。他的老师应该教他在某些时候说"这题出错了"。但没人教他这个。于是他就坐在那里，一遍又一遍地尝试，用不同的方法，质疑自己的每一步推理，直到天黑。

对部署推理模型的公司来说，这篇论文的教训很明确：过度思考不是一个QA问题——它是一个安全漏洞。 它需要被纳入威胁模型，需要被防御。可能的防御措施包括：输出token上限、思维链长度限制、检测异常冗长模式并掐断、或者在训练中教模型识别并拒绝逻辑不一致的输入（而不是试图从中推导出意义）。

最后一个想法：这个攻击的"输入效率"很有意思。它只用了99个token的输入，就诱导出了32,768个token的思考。这是一个327:1的放大比。如果你把这个看作一种"杠杆"——输入和输出之间的倍数——那这是我所知道的针对推理模型的最高杠杆攻击。

参考论文

Shuqiang Wang, Wei Cao, Jiaqi Weng, Jialing Tao, Licheng Pan, Hui Xue, Zhixuan Chu. "Inducing Overthink: Hierarchical Genetic Algorithm-based DoS Attack on Black-Box Large Language Reasoning Models." ICML 2026, arXiv:2605.13338.

#AI安全 #推理模型 #过度思考 #DoS攻击 #ICML2026