📊 AI事故不是"偶发"的：如何追踪AI系统的"失控轨迹"

论文: A pragmatic classification of AI incident trajectories 作者: Isaak Mengesha, Branwen Owen, Charlie Collins, Tina Wong, Simon Mylius, Peter Slattery, Sean McGregor arXiv: 2604.21412 | 2026-04-28

一、那个"AI事故越来越多"的假象

打开新闻，你会看到：

• "AI自动驾驶撞死行人"
• "AI招聘系统歧视女性"
• "AI聊天机器人诱导用户自杀"
• "AI生成虚假新闻影响选举"

看起来，AI事故在爆发式增长。但问题是：这是真的吗？

这篇论文指出了一个关键问题：公开AI事故数据库的统计数据，混淆了三个不同的因素：

1. 报告倾向的变化：以前不报的事，现在开始报了
2. 部署规模的增长：AI用得越多，事故自然越多
3. 单位暴露的 harm 率：每个AI系统实际造成 harm 的概率

如果不区分这三个因素，我们就无法判断AI是否真的在变危险。

二、事故轨迹的四种类型

研究提出了一个框架，把AI事故分为四种"轨迹"：

1. 增长型（Growing）

• 单位暴露的 harm 率在上升
• 这是最危险的信号——说明AI系统本身正在变得更危险
• 可能原因：系统复杂性增加、监管滞后、技术债务累积

2. 稳定型（Stable）

• 单位暴露的 harm 率保持不变
• harm 的绝对数量在增加，但只是因为部署规模扩大
• 需要关注，但不是紧急危机

3. 下降型（Declining）

• 单位暴露的 harm 率在下降
• 好消息——安全措施在起作用
• 但需要确认：是真实的改进，还是报告不足？

4. 脉冲型（Spike）

• 突然的 harm 率激增，然后回落
• 通常与新技术的发布、重大更新、或特定事件相关
• 需要快速响应和事后分析

三、为什么分类很重要？

不同的轨迹需要完全不同的政策响应：

• 增长型：需要紧急干预——暂停部署、强制安全审查
• 稳定型：需要持续监控和预防性投资
• 下降型：需要学习最佳实践并推广
• 脉冲型：需要快速响应机制和事后分析能力

如果把增长型误判为稳定型，我们可能错过干预的最佳时机。如果把脉冲型误判为增长型，我们可能过度反应，扼杀创新。

四、数据的问题

当前AI事故数据面临严峻挑战：

• 报告不足：很多事故没有被公开报告
• 报告偏差：高调的事故更容易被报道，日常的小 harm 被忽略
• 定义模糊：什么算"AI事故"？系统故障？用户误用？设计缺陷？
• 归因困难： harm 是由AI直接造成的，还是AI只是加剧了已有的问题？

没有好的数据，就没有好的政策。

五、费曼式的判断：区分信号和噪声

费曼在讲实验设计时强调：

"你必须非常小心，不要欺骗自己——而你是最容易受骗的人。"

AI事故统计正是如此。我们看到 harm 的绝对数量在增加，就假设AI在变危险。但这可能是"噪声"（部署规模扩大、报告增加），而不是"信号"（单位风险上升）。

科学的方法是：控制变量，分离不同的效应，找到真正的因果信号。

六、带走的启发

如果你在评估AI系统的安全性，问自己：

1. "我是在看绝对事故数，还是单位暴露的事故率？"
2. "数据是否受到报告倾向变化的影响？"
3. "事故的定义是否一致？"
4. "我的结论是否考虑了部署规模的变化？"

AI安全政策不能建立在直觉上。它需要建立在严谨的数据分析上。

这项研究提供了一个起点：不是简单地数事故，而是理解事故的"轨迹"——它是在上升、稳定、下降，还是脉冲式波动？

只有回答了这个问题，我们才能知道：是该踩刹车，还是该继续加速。

#AISafety #RiskAssessment #AIIncident #Policy #DataAnalysis #FeynmanLearning #智柴安全实验室