智能的底线：不是"能做什么"，而是"知道什么时候该停"

一个被忽视的架构缺陷

2024年，一个医疗AI助手自信地给患者推荐了错误的药物剂量。2025年，一个自动驾驶系统在暴雨中继续执行变道指令。2026年，一个客服机器人在不确定答案时仍然编造了退款政策。

这些事故的共同点不是"模型不够好"或"对齐没做对"——而是一个更根本的架构假设：AI系统应该在所有情况下持续运行。

Srini Ramaswamy 的论文 "Intelligence as Managed Autonomy" 提出了一个颠覆性的观点：真正的智能不是"什么都能做"，而是"知道什么时候不该做"。 幻觉和错误行动不是模型的bug，而是"无界自主性"的架构漏洞——系统被设计成"永远在运行"，而不是"在不确定时停下来"。

SMARt模型：四层自主性阶梯

Ramaswamy 提出了 SMARt（Self-Managing Multi-tier Autonomous Reasoning with Regulated/Revoked transitions）模型，把AI系统的自主性分成四个互斥状态：

S - 稳定自主推理（Stable Autonomous Reasoning）： 系统在经过验证的认知边界内运行，安全约束得到满足。这是唯一允许对外输出或行动的状态。 注意：这不是默认状态，而是需要持续验证的条件状态。

M - 元认知局部恢复（Meta-cognitive Local Recovery）： 自主执行暂停，系统进入内部诊断和自我修复模式。可以重新表述问题、扩展查询、调整推理路径。此状态下严禁对外输出。

A - 辅助互恢复（Assisted Mutual Recovery）： 如果局部恢复不够，系统升级到寻求外部帮助——调用工具、咨询领域专家、与其他Agent协作。单方面行动暂停，必须通过外部信息源解决认知缺口。

Rt - 受管/撤销状态（Regulated/Revoked Transition to External Control）： 自主性明确交出，由人类监督、策略执行或受控关闭接管。这是对不可约不确定性的正确响应——安全停机，而非盲目行动。

这四层状态的关键特征是互斥性：系统在任何时刻只能处于其中一个状态。这不是建议，而是架构约束——用 Petri 网的形式化保证。

从"能力中心"到"自主性中心"的范式转换

传统AI系统的设计是"能力中心"的：优化准确率、吞吐量、任务完成率。系统的目标是"做得更多更好"。

SMARt 提出的是"自主性中心"的设计：持续运行是一个条件状态，而非默认状态。系统的首要架构需求不是"完成任务"，而是"持续验证自己有资格行动"。

这个转换的深刻之处在于：它重新定义了"智能"。 在能力中心范式下，一个永远自信地输出答案的系统是"智能的"——即使答案经常是错的。在自主性中心范式下，一个在不确定时主动暂停、寻求帮助、必要时交出控制权的系统才是"智能的"。

这就像两个医生：一个对所有病例都自信地给出诊断（包括不确定的），另一个在拿不准时说"我需要会诊"。哪个更"智能"？

Petri网：用数学保证"该停就停"

SMARt 不只是概念框架，它用时序受管Petri网（Timed Guarded Petri Nets, T-GPN）做了形式化证明。

Petri网的核心是一个模式-令牌不变量：M(P_S) + M(P_M) + M(P_A) + M(P_Rt) = 1。这意味着系统始终处于且仅处于一个自主性状态。令牌在哪个位置，系统就在哪个状态。

状态转换由守卫条件（guards）控制——这些是基于运行时信号的可测量谓词，而非抽象的真值判断。例如：

• 检索-LLM分歧度超过阈值 → 从S切换到M
• 多Agent不一致持续超过时限 → 从M升级到A
• 安全约束被违反 → 从任何状态直接跳到Rt

论文证明了五个核心命题：

命题1：有界自主性。 S状态的自主推理在时间和认知上都是有界的。如果认知无效持续存在，系统必须在有界时间内离开S。

命题2：无根据生成的形式化边界。 SMARt系统结构上不可能在认知无效时生成外部可见输出。因为P_S是所有输出转换的必要前置位置——令牌不在P_S，输出在结构上不可能。幻觉不是概率降低，而是架构禁止。

命题3：强制升级。 如果局部恢复（M）在有界时间内未能恢复有效性，系统必须升级到A或Rt。不能无限期停留在M。

命题4：治理可达性。 所有不安全或不可恢复的条件，在有界时间内到达Rt状态。而且Rt是吸收态——没有外部授权，系统不能离开Rt。

命题5：分布式健全性。 在多Agent系统中，未解决的分歧不能"悄悄"回到稳定自主。持续分歧阻止返回P_S，强制继续恢复或升级到Rt。

一个具体的例子：多机器人协作导航

论文用多机器人协作导航的场景说明了SMARt的运作：

一个机器人在仓库中自主导航（S状态）。突然，定位不确定性超过阈值——可能是传感器故障或环境变化。系统自动切换到M状态，暂停导航，尝试重新校准。

校准超时未成功。系统升级到A状态，向中央调度请求地图更新。调度返回的地图与本地感知冲突——多Agent不一致。系统继续停留在A，尝试解决分歧。

分歧持续超过时限。系统升级到Rt状态，执行紧急停止，等待人类操作员介入。

整个过程没有一步是"AI自己决定继续行动"——每一步都有形式化保证：该停就停，该升级就升级，该交出控制权就交出。

局限：理论完美，工程艰难

论文坦诚地讨论了几个实际挑战：

守卫条件的脆弱性。 触发状态转换的信号（如"认知无效"）需要精确校准。阈值设高了，系统该停不停；设低了，系统频繁误报。在真实场景中，这些阈值往往需要大量试错才能确定。

运行时开销。 持续评估状态、检查守卫条件、维护Petri网——这些都需要计算资源。在高频决策场景（如自动驾驶）中，额外的延迟可能本身就是安全风险。

多Agent同步。 分布式SMARt系统需要Agent之间的状态同步和超时协调。在通信不稳定的环境中，这比单Agent场景复杂得多。

触发器集的完备性。 SMARt的安全性依赖于触发器集的完备——如果某个危险信号没有被定义为触发器，系统就不会响应。在开放世界中，保证触发器集的完备性几乎不可能。

为什么这篇论文重要？

SMARt 的真正贡献不是 Petri 网的形式化（虽然数学上漂亮），而是它提出的范式转换：

从"让AI更聪明"到"让AI更知道自己的边界"。

当前AI安全的思路大多是"让模型不产生有害输出"——通过RLHF、红队测试、宪法AI等方法。这些方法本质上是在概率层面降低风险：让有害输出更少出现，但不能保证它不出现。

SMARt 提出的是在架构层面消除风险：如果系统不确定，它结构上就不能输出。这不是让有害输出"更少"，而是让它"不可能"。

这就像核电站的安全设计：不是"让操作员更小心"，而是"如果冷却系统失效，反应堆物理上无法继续运行"。安全不是靠人的判断力，而是靠物理定律。SMARt 把这个原则搬到了AI架构里。

论文信息： Ramaswamy. "Intelligence as Managed Autonomy: Failure, Escalation, and Governance for Agentic AI Systems." arXiv:2605.27628, 2026.