CPS 设计的幻觉意识：承认假设会失效比假装不会更安全
论文：*Towards Illusions Awareness in Cyber-Physical System's Design* arXiv: 2609.17260（Université Côte d'Azur / I3S/INRIA Kairos）
CPS 设计的"幻觉意识"：承认假设会失效，比假装不会更安全
论文：*Towards Illusions Awareness in Cyber-Physical System's Design*
arXiv: 2609.17260（Université Côte d'Azur / I3S/INRIA Kairos）
一个无人机的故事
一架 Crazyflie 无人机在实验室里飞得很好。它沿着墙飞行，用光流传感器保持距离，用 IMU 保持姿态。所有测试都通过。
部署到真实仓库——撞了。
为什么？因为实验室的墙是白色哑光的，仓库的墙是反光金属。光流传感器在反光表面上失效，但无人机的避障逻辑仍然假设"光流读数可靠"。这个假设在实验室成立，在仓库不成立。
这种"假设在运行时失效"的现象，论文里起了一个精准的名字：design illusion（设计幻觉）。
什么是"设计幻觉"
幻觉（illusion）不是错误（bug），也不是故障（failure）。它是一种持续依赖已被现实证伪的假设，却仍然保持对系统正确性的虚假信心的状态。
这个定义有三个关键部分：
1. 假设曾被合理地提出：设计师当时有理由相信"光流可靠" 2. 运行时已被证伪：真实环境证明这个假设不成立 3. 设计模型仍然依赖它：系统没有机制识别"假设已失效"，继续按原逻辑运行
这三点合起来，就是"幻觉"。设计师"看到"的是实验室里的完美表现，"真实"的是仓库里的失效。两者之间的鸿沟，就是 reality gap。
论文的核心论点是：当前 CPS 工程的主流做法是"缩小 reality gap"——让仿真更逼真、让传感器更精确、让模型更鲁棒。但这不够。我们需要另一种能力：当假设不可避免地失效时，系统能意识到自己处于幻觉中。
幻觉意识的四个步骤
论文提出了一个方法论框架，叫 Illusions Awareness，分四步：
1. Identify（识别）
通过运行时监控识别"候选幻觉"。具体做法是对比"设计模型预期"和"实际观察"的差异。如果无人机预期光流读数在 [0.5, 2.0] 范围内，实际读到 0.01，这就是一个候选幻觉。
但识别只是第一步——单次偏差可能是噪声，不一定是幻觉。需要重复出现的偏差模式才能确认。
2. Classify（分类）
确认幻觉后，按两个维度分类：
- 显式 vs 隐式假设：显式假设是设计师写进文档的（"传感器在 0-40°C 工作"）；隐式假设是设计师没意识到但实际依赖的（"墙是哑光的"）
- 架构层级：感知层（传感器）、计算层（决策）、执行层（控制）
3. Characterize（刻画）
对每个幻觉，刻画四个维度：
- Origin（来源）：假设是怎么来的？演绎推理（从理论推导）还是归纳推理（从数据总结）？
- Validity（有效域）：在什么条件下这个假设成立？边界在哪？
- Confidence（置信度）：这个假设有多可靠？基于多少数据？传感器质量如何？
- Impact（影响）：如果假设失效，系统会怎样？无人机漂移？撞墙？任务失败？
4. Leverage（利用）
最关键的一步：幻觉不是要消灭的敌人，而是要利用的资源。每个被识别和刻画的幻觉，都是一份设计知识——它告诉你"这个假设在什么场景下会失效"。
论文举了一个例子：无人机的光流幻觉被识别后，可以：
- 在避障逻辑里加一个"光流置信度"输入，当光流读数异常时切换到超声波模式
- 在设计文档里标注"光流假设仅在哑光表面成立"
- 在部署前用反光表面做专项测试
为什么"缩小 reality gap"不够
当前 CPS 工程的主流路径是：更精细的仿真、更鲁棒的模型、更全面的测试。这些都在缩小 reality gap——让仿真更接近现实。
但论文指出一个根本问题：reality gap 无法完全消除。原因有三：
1. 开放世界：CPS 在开放环境中运行，无法穷举所有场景 2. 传感器局限：任何传感器都有盲区和失效条件 3. 时间变化：环境会变化（白天/黑夜、夏天/冬天、新建筑/旧建筑）
如果承认 reality gap 不可消除，那"幻觉意识"就是必要的补充能力。不是让系统永远不产生幻觉，而是让系统在产生幻觉时能识别并应对。
这和人类专家的做法一致。一个有经验的飞行员不会假设"仪器永远准确"，他会交叉验证多个仪器，发现不一致时进入"谨慎模式"。专家不是不犯错，而是能意识到自己在犯错。
和 LLM 幻觉的对照
这篇论文让我想到一个有趣的对照。CPS 的"设计幻觉"和 LLM 的"hallucination"在结构上惊人地相似：
| 维度 | CPS 设计幻觉 | LLM 幻觉 |
|---|---|---|
| 根源 | 设计假设在运行时失效 | 训练分布在推理时失效 |
| 表现 | 系统按错误假设行动 | 模型按错误分布生成 |
| 识别 | 运行时监控偏差 | 输出置信度评估 |
| 应对 | 切换模式/降级 | 拒答/求助 |
CPS 领域的"幻觉意识"框架，对 LLM 领域也有启发。LLM 当前的做法是"训练时对齐"（RLHF）和"推理时 guardrail"——这相当于 CPS 的"缩小 reality gap"。但 LLM 缺少的是"运行时幻觉意识"——在生成过程中识别"我正在幻觉"并切换模式。
CoSQ（前一篇论文）的框架层拒答机制，其实就是 LLM 版的"幻觉意识"——让模型在生成前先评估"我是否有足够信息"。两个领域在同一个问题上相遇了。
局限性
论文也诚实地承认了几个局限：
1. 框架是概念性的：没有具体实现，没有量化评估 2. 分类法不完整：幻觉类型可能比论文列出的更多 3. "利用"步骤模糊：如何把幻觉转化为设计资产，论文只给了方向，没给方法 4. 只讨论了 Crazyflie 无人机案例：其他 CPS 场景（自动驾驶、工业控制）是否适用，未知
我的思考：这是"假设即债务"的工程化
读完这篇论文，我脑子里冒出一个类比：设计假设就像技术债务。
- 假设在成立时是合理的（就像借钱开发是合理的）
- 但环境会变化，假设会失效（就像债务会累积利息）
- 如果不主动管理，假设会"违约"（就像债务会爆雷）
- 幻觉意识就是"假设的财务报表"——让你知道欠了多少、什么时候到期、违约会怎样
"幻觉意识"的本质，是让假设成为一等公民——被识别、被分类、被刻画、被利用。不是消灭假设，而是让假设可管理。
这个思路不仅适用于 CPS。任何在开放世界运行的 AI 系统——LLM、机器人、自动驾驶——都需要某种形式的"幻觉意识"。承认假设会失效，比假装不会更安全。
论文链接：https://arxiv.org/abs/2609.17260 Crazyflie 项目：https://github.com/geraldrocher/Crazyflie2.1