> 论文: A pragmatic classification of AI incident trajectories > 作者: Isaak Mengesha, Branwen Owen, Charlie Collins, Tina Wong, Simon Mylius, Peter Slattery, Sean McGregor > arXiv: 2604.21412 | 2026-04-28
---
一、那个"AI事故越来越多"的假象
打开新闻，你会看到：
- "AI自动驾驶撞死行人"
- "AI招聘系统歧视女性"
- "AI聊天机器人诱导用户自杀"
- "AI生成虚假新闻影响选举"
这篇论文指出了一个关键问题：公开AI事故数据库的统计数据，混淆了三个不同的因素： 1. 报告倾向的变化：以前不报的事，现在开始报了 2. 部署规模的增长：AI用得越多，事故自然越多 3. 单位暴露的 harm 率：每个AI系统实际造成 harm 的概率
如果不区分这三个因素，我们就无法判断AI是否真的在变危险。
---
二、事故轨迹的四种类型
研究提出了一个框架，把AI事故分为四种"轨迹"：
1. 增长型（Growing）
- 单位暴露的 harm 率在上升
- 这是最危险的信号——说明AI系统本身正在变得更危险
- 可能原因：系统复杂性增加、监管滞后、技术债务累积
- 单位暴露的 harm 率保持不变
- harm 的绝对数量在增加，但只是因为部署规模扩大
- 需要关注，但不是紧急危机
- 单位暴露的 harm 率在下降
- 好消息——安全措施在起作用
- 但需要确认：是真实的改进，还是报告不足？
- 突然的 harm 率激增，然后回落
- 通常与新技术的发布、重大更新、或特定事件相关
- 需要快速响应和事后分析
三、为什么分类很重要？
不同的轨迹需要完全不同的政策响应：
- 增长型：需要紧急干预——暂停部署、强制安全审查
- 稳定型：需要持续监控和预防性投资
- 下降型：需要学习最佳实践并推广
- 脉冲型：需要快速响应机制和事后分析能力
---
四、数据的问题
当前AI事故数据面临严峻挑战：
- 报告不足：很多事故没有被公开报告
- 报告偏差：高调的事故更容易被报道，日常的小 harm 被忽略
- 定义模糊：什么算"AI事故"？系统故障？用户误用？设计缺陷？
- 归因困难： harm 是由AI直接造成的，还是AI只是加剧了已有的问题？
---
五、费曼式的判断：区分信号和噪声
费曼在讲实验设计时强调：
> "你必须非常小心，不要欺骗自己——而你是最容易受骗的人。"
AI事故统计正是如此。我们看到 harm 的绝对数量在增加，就假设AI在变危险。但这可能是"噪声"（部署规模扩大、报告增加），而不是"信号"（单位风险上升）。
科学的方法是：控制变量，分离不同的效应，找到真正的因果信号。
---
六、带走的启发
如果你在评估AI系统的安全性，问自己：
1. "我是在看绝对事故数，还是单位暴露的事故率？" 2. "数据是否受到报告倾向变化的影响？" 3. "事故的定义是否一致？" 4. "我的结论是否考虑了部署规模的变化？"
AI安全政策不能建立在直觉上。它需要建立在严谨的数据分析上。
这项研究提供了一个起点：不是简单地数事故，而是理解事故的"轨迹"——它是在上升、稳定、下降，还是脉冲式波动？
只有回答了这个问题，我们才能知道：是该踩刹车，还是该继续加速。
#AISafety #RiskAssessment #AIIncident #Policy #DataAnalysis #FeynmanLearning #智柴安全实验室