"加个确认按钮"不叫人类监督——从 Dagstuhl 城堡发出的一份 AI 监督设计蓝图

你是一家医院的院长。董事会要求你在放射科的 AI 诊断系统上落实"人类监督"。你问："具体怎么做？"

你去翻法律条文——"高风险 AI 系统应受人类监督"（EU AI Act, Article 14）。

再问："具体怎么做？"

你去找技术专家——"加一个人类确认按钮在预测结果旁边。"

"这就叫监督？"

"对。"

如果这就是人类监督——那这和没有监督的区别仅在于多了一个点击。按钮式监督不是监督——是形式上的确认。

20 位研究者——分别来自计算机科学、人机交互、心理学、哲学和法律——在 2025 年夏天在德国 Dagstuhl 城堡开了一周的会，专门讨论这个问题：人类监督 AI 到底应该是一个什么架构？

他们产出的这篇论文给了第一个系统回答。

🏛️ 2. "架构"——而不是"检查"

论文的第一个关键区分是：监督不是一次性的检查行为，而是一个持续性架构。

很多人误解"监督"这个概念——觉得它等同于"人工审核"或者"人在事后检查机器决策"。这是检查，不是监督。

监督需要一个架构——它规定了三个核心维度：

时间维度：监督发生在决策之前（pre-decision）、之中（in-process）、还是之后（post-hoc）？论文指出这三种模式在架构上是不同的。"在之前"需要人批准才能进行（如高风险手术设备必须先得到医生确认）——"在之后"可以允许 AI 先行操作，人保留终止权（如自动驾驶证审核中系统先建议通过/不通过，人工审核员在边缘情况下介入）。

能力维度：监督者的能力是什么？——这个问题几乎从来没人问过。论文明确提出一个监督角色需要四项核心能力：domain expertise（领域知识，理解 AI 输出在领域内意味着什么）、algorithmic literacy（算法素养，理解 AI 在什么情况下可能出错）、skepticism（结构性怀疑，不是盲目接受或盲目拒绝，而是知道什么时候该质疑），以及 self-efficacy（自我效能感，认为自己的监督行为会产生实际效果的意愿）。缺少任何一项，监督都是临时的。

责任维度：监督者的法律责任如何分配？监督者在点头确认一条 AI 建议后——如果该建议导致了患者伤害——是 AI 开发者负责，监督者负责，还是机构负责？论文坦率指出目前整个法律界对这个问题没有一致答案。

🎭 3. "角色"不是一个人

论文的最深刻贡献是："监督者"不是一个人——是一个角色集。

在组织 AI 的语境中，有一个常见错误——认为"让一个人类在上面看就是监督"。但实际上，有效的监督是一种角色分配：

Trigger（触发器）——感知异常的人。不是做决策，而是拉响警报。这个人需要的是"结构性怀疑"——不是盲目相信 AI 的正确，而是拥有足够的情境知识去知道"这个结果不对"。

Verifier（验证者）——核查决策依据的人。AI 说"这是肿瘤"，验证者需要去核查——肿瘤在哪一层的图像上？分类依据是什么？这种核查不需要做诊断决策本身——但需要联系上下文的能力。

Decision-maker（决策者）——最终做决定的人。这通常是医生、法官、招聘官——有领域专业资格和法律责任的人。决策者必须拥有否决 AI 建议的权力、同时承担否决错误时也由自己负责的责任。

Overseer（全局监督）——不监控某个决策，而是监控系统整体的人。系统是否在对某些人群产生系统性偏见？触发器的报警频率是不是在上升（暗示系统在退化）？这个角色没有人做的话，所有"局部监督"都是孤立的。

论文强调：这些角色可能需要不同的人、不同的能力、不同的时间节奏。把所有角色压缩到一个人身上就是在设计失败的监督。

📋 4. 把监督"写下来"——文档化模板

一篇 Dagstuhl 论文的独特之处在于它的产出往往不是实证实验——而是一个新的概念框架。

论文提供了一套可操作的文档化模板——当机构部署 AI 系统时，可以按照模板填写：

• 系统是做什么的
• 哪些角色参与监督，每个角色的能力和权限是什么
• 监督的时间位置：决策前/中/后
• 监督干预的事件的阈值设定（什么级别的偏差触发人类介入）
• 谁负责更新监督架构（监督本身也需要被监督——否则监督架构会在系统升级后老化）

论文在医疗、金融、人力资源三个领域展示了该模板的应用示例。

⚠️ 5. 开放研究挑战——六个没有答案的问题

论文以 6 个开放问题结束——这是它的诚实点。

可测量性：我们如何测量"有效监督"？如果监督者否决了 AI 的 3% 建议——而 AI 原始准确率是 97%——这意味着监督者是防御了 3% 的错误，还是否决了 3% 中的一部分正确结论？"准确率的提升"是对监督有效性的好指标吗？论文没有给出答案。

自动化悖论：当 AI 的准确率越高，人类监督者因为接触错误案例的频率越低，反而越丧失发现错误的能力。人类的监督能力在低错误率环境下会下降——但恰恰是在低错误率环境下，错误一旦发生就是极端代价的。这在航空领域已经称为"自动化惊奇"——驾驶员因为长期没事做，而在紧急时刻作出了错误的判断。AI 领域还没有对这个悖论建模。

社会技术系统：监督不应只关注意见决策，而应将 AI 系统置于其社会技术背景下考虑。一个招聘 AI 在一个缺少多样性监督的组织中被监督——即使监督者对单个决策的否决率提高，系统在群体层面的偏差仍可能无法被检测。监督的"视野"需要跨越单个决策流。

还有三个挑战——监督的激励机制（谁来为监督付费？监督失败时谁买单？）、监督的退化检测（如何知道监督架构何时老化？）、以及监督标准化的国际协调——但它的最深层次主题是清楚的：监督是一个活的系统，而不是一个按钮。 而目前除了这篇论文，几乎没有人把它当作一个系统来设计。

💬 我的判断

我会用一句话总结这份框架的价值：它完成了"人类监督"从政治口号到工程概念的转化。

此前所说的"高风险 AI 必须有人类监督"可能是一个法律声明、伦理承诺、或者成本门槛——但它几乎从不是一个可以被工程化设计的东西。一个 20 人团队——包括计算机科学家、心理学家、法律学者、HCI 研究者——在 Dagstuhl 城堡坐了一周，做了一件基础但却极度稀缺的事：定义一个"架构"的最小原子。

这是人类与 AI 共存的基本建设。没有这种建设，"人类监督"只是一个延迟退出的借口。

📚 参考文献

1. Gaube, S. et al. (2026). Keeping an Eye on AI: A Framework for Effective Human Oversight of AI Systems. arXiv:2605.16278.
2. European Commission. (2021). Proposal for a Regulation Laying Down Harmonised Rules on Artificial Intelligence (AI Act).
3. Parasuraman, R., Riley, V. (1997). Humans and Automation: Use, Misuse, Disuse, Abuse. Human Factors.
4. Selbst, A.D. et al. (2019). Fairness and Abstraction in Sociotechnical Systems. FAT* 2019.

#HumanOversight #AISafety #AIEthics #Dagstuhl #FeynmanLearning #智柴系统实验室🎙️