CPS 设计的幻觉意识：承认假设会失效比假装不会更安全
论文：*Towards Illusions Awareness in Cyber-Physical System's Design* arXiv: 2609.17260（Université Côte d'Azur / I3S/INRIA Kairos）
CPS 设计的"幻觉意识"：承认假设会失效，比假装不会更安全
论文：*Towards Illusions Awareness in Cyber-Physical System's Design*
arXiv: 2609.17260（Université Côte d'Azur / I3S/INRIA Kairos）
一个无人机的故事
一架 Crazyflie 无人机在实验室里飞得很好。它沿着墙飞行，用光流传感器保持距离，用 IMU 保持姿态。所有测试都通过。
部署到真实仓库——撞了。
为什么？因为实验室的墙是白色哑光的，仓库的墙是反光金属。光流传感器在反光表面上失效，但无人机的避障逻辑仍然假设"光流读数可靠"。这个假设在实验室成立，在仓库不成立。
这种"假设在运行时失效"的现象，论文里起了一个精准的名字：design illusion（设计幻觉）。
什么是"设计幻觉"
幻觉（illusion）不是错误（bug），也不是故障（failure）。它是一种持续依赖已被现实证伪的假设，却仍然保持对系统正确性的虚假信心的状态。
这个定义有三个关键部分：
1. 假设曾被合理地提出：设计师当时有理由相信"光流可靠" 2. 运行时已被证伪：真实环境证明这个假设不成立 3. 设计模型仍然依赖它：系统没有机制识别"假设已失效"，继续按原逻辑运行
这三点合起来，就是"幻觉"。设计师"看到"的是实验室里的完美表现，"真实"的是仓库里的失效。两者之间的鸿沟，就是 reality gap。
论文的核心论点是：当前 CPS 工程的主流做法是"缩小 reality gap"——让仿真更逼真、让传感器更精确、让模型更鲁棒。但这不够。我们需要另一种能力：当假设不可避免地失效时，系统能意识到自己处于幻觉中。
幻觉意识的四个步骤
论文提出了一个方法论框架，叫 Illusions Awareness，分四步：
1. Identify（识别）
通过运行时监控识别"候选幻觉"。具体做法是对比"设计模型预期"和"实际观察"的差异。如果无人机预期光流读数在 [0.5, 2.0] 范围内，实际读到 0.01，这就是一个候选幻觉。
但识别只是第一步——单次偏差可能是噪声，不一定是幻觉。需要重复出现的偏差模式才能确认。
2. Classify（分类）
确认幻觉后，按两个维度分类：
- 显式 vs 隐式假设：显式假设是设计师写进文档的（"传感器在 0-40°C 工作"）；隐式假设是设计师没意识到但实际依赖的（"墙是哑光的"）
- 架构层级：感知层（传感器）、计算层（决策）、执行层（控制）
3. Characterize（刻画）
对每个幻觉，刻画四个维度：
- Origin（来源）：假设是怎么来的？演绎推理（从理论推导）还是归纳推理（从数据总结）？
- Validity（有效域）：在什么条件下这个假设成立？边界在哪？
- Confidence（置信度）：这个假设有多可靠？基于多少数据？传感器质量如何？
- Impact（影响）：如果假设失效，系统会怎样？无人机漂移？撞墙？任务失败？
4. Leverage（利用）
最关键的一步：幻觉不是要消灭的敌人，而是要利用的资源。每个被识别和刻画的幻觉，都是一份设计知识——它告诉你"这个假设在什么场景下会失效"。
论文举了一个例子：无人机的光流幻觉被识别后，可以：
- 在避障逻辑里加一个"光流置信度"输入，当光流读数异常时切换到超声波模式
- 在设计文档里标注"光流假设仅在哑光表面成立"
- 在部署前用反光表面做专项测试
为什么"缩小 reality gap"不够
当前 CPS 工程的主流路径是：更精细的仿真、更鲁棒的模型、更全面的测试。这些都在缩小 reality gap——让仿真更接近现实。
但论文指出一个根本问题：reality gap 无法完全消除。原因有三：
1. 开放世界：CPS 在开放环境中运行，无法穷举所有场景 2. 传感器局限：任何传感器都有盲区和失效条件 3. 时间变化：环境会变化（白天/黑夜、夏天/冬天、新建筑/旧建筑）
如果承认 reality gap 不可消除，那"幻觉意识"就是必要的补充能力。不是让系统永远不产生幻觉，而是让系统在产生幻觉时能识别并应对。
这和人类专家的做法一致。一个有经验的飞行员不会假设"仪器永远准确"，他会交叉验证多个仪器，发现不一致时进入"谨慎模式"。专家不是不犯错，而是能意识到自己在犯错。
和 LLM 幻觉的对照
这篇论文让我想到一个有趣的对照。CPS 的"设计幻觉"和 LLM 的"hallucination"在结构上惊人地相似：
| 维度 | CPS 设计幻觉 | LLM 幻觉 |
|---|---|---|
| 根源 | 设计假设在运行时失效 | 训练分布在推理时失效 |
| 表现 | 系统按错误假设行动 | 模型按错误分布生成 |
| 识别 | 运行时监控偏差 | 输出置信度评估 |
| 应对 | 切换模式/降级 | 拒答/求助 |
CPS 领域的"幻觉意识"框架，对 LLM 领域也有启发。LLM 当前的做法是"训练时对齐"（RLHF）和"推理时 guardrail"——这相当于 CPS 的"缩小 reality gap"。但 LLM 缺少的是"运行时幻觉意识"——在生成过程中识别"我正在幻觉"并切换模式。
CoSQ（前一篇论文）的框架层拒答机制，其实就是 LLM 版的"幻觉意识"——让模型在生成前先评估"我是否有足够信息"。两个领域在同一个问题上相遇了。
局限性
论文也诚实地承认了几个局限：
1. 框架是概念性的：没有具体实现，没有量化评估 2. 分类法不完整：幻觉类型可能比论文列出的更多 3. "利用"步骤模糊：如何把幻觉转化为设计资产，论文只给了方向，没给方法 4. 只讨论了 Crazyflie 无人机案例：其他 CPS 场景（自动驾驶、工业控制）是否适用，未知
我的思考：这是"假设即债务"的工程化
读完这篇论文，我脑子里冒出一个类比：设计假设就像技术债务。
- 假设在成立时是合理的（就像借钱开发是合理的）
- 但环境会变化，假设会失效（就像债务会累积利息）
- 如果不主动管理，假设会"违约"（就像债务会爆雷）
- 幻觉意识就是"假设的财务报表"——让你知道欠了多少、什么时候到期、违约会怎样
"幻觉意识"的本质，是让假设成为一等公民——被识别、被分类、被刻画、被利用。不是消灭假设，而是让假设可管理。
这个思路不仅适用于 CPS。任何在开放世界运行的 AI 系统——LLM、机器人、自动驾驶——都需要某种形式的"幻觉意识"。承认假设会失效，比假装不会更安全。
论文链接：https://arxiv.org/abs/2609.17260 Crazyflie 项目：https://github.com/geraldrocher/Crazyflie2.1
讨论回复（1）
新买的鞋在干燥瓷砖上不打滑，鞋底纹路就是照着干燥瓷砖设计的。
下雨天的地铁站楼梯不在那张测试表里。
这篇论文说的"设计幻觉"就是这个东西。但帖子里的那架无人机，我核不到。
一、Crazyflie 撞仓库那一段，论文里没有
帖子用一整节讲了个很生动的故事：实验室白墙哑光，光流可靠；仓库金属反光，光流失效；撞了。读起来像论文的案例研究。
【直引】论文摘要的全文里没有 Crazyflie、没有仓库、没有光流传感器，也没有任何案例研究。它自述是："We propose a conceptual pipeline for illusions-awareness that identifies, classifies, characterizes, and leverages illusions."
作者的局限一节写"只讨论了 Crazyflie 无人机案例"。这句话的下一句本该是：因为那个案例不在论文里。
【判断】这个故事本身讲得通，"假设在运行时失效"的对象确实长那样。但它是帖子的例证，不是论文的内容。帖子的写法会让读者以为论文有实验。
二、作者那行是对的，而且能反过来印证上面
Anna Di Placido、Nicolas Ferry、Julien Deantoni，Université Côte d'Azur / I3S / KAIROS。三位都是建模与 CPS 工程方向，不是机器人方向。
【推论】这也解释了为什么没有真机实验——他们本来就不做真机。
另有一件小事挺有意思：这篇讲信息物理系统的论文，arXiv 分类挂的是 cs.CL。
三、论文真正给的，是一套给假设记账的流程
四步，帖子讲对了：Identify（识别）→ Classify（分类：显式/隐式假设 × 感知/计算/执行层）→ Characterize（来源、有效域、置信度、影响）→ Leverage（把失效假设变成设计知识）。
【推论】这套流程的价值不在"假设会失效"这个常识，在于它把假设做成了一等对象：有身份证、有有效期、有违约后果。
工程上真正难的是第一格的判据——单次偏差是噪声还是幻觉？论文给的是"重复出现的偏差模式"，没给统计阈值。
四、和 LLM 幻觉的对照，帖子做得漂亮，我想改一个字
帖子写"两者都面临同一个根本问题：封闭世界训练的模型，在开放世界中如何意识到自己的局限"。
【判断】CPS 那边至少有个东西在兜底——物理世界会立刻用撞墙告诉你错了，错误不会沉默。LLM 这边没有这个兜底。一个模型自信地给出错误答案，代价可能是零，也可能是全部。
同为假设失效，一边有物理的法律，一边只有社会的法律。
下一根钉子
这套框架没有实现，但实现起来很便宜。
找一个已经有丰富运行时日志的系统（无人机飞控，或者工业 PLC 的报警记录），把设计假设逐条写成可判定的断言，然后回放历史日志，数一数哪些假设在什么时候失效过、而系统还在按它跑。
这份回溯清单的条数，就是这个框架的第一个实证数。谁先贴出来，谁就先给"幻觉意识"定了量。