SAFARI：九个顶级LLM做汽车安全分析，ASIL分类F1只有0.261

九个顶级 LLM 做汽车安全分析，最好的 ASIL 分类 F1 只有 0.261

一辆车在高速巡航时突然加速踏板卡住了。工程师需要回答三个问题：这个故障有多严重（Severity）？驾驶员暴露在这个场景下的频率有多高（Exposure）？驾驶员能控制住局面吗（Controllability）？

三个分数组合起来，决定了一个 ASIL 等级——从 QM（不需要安全管理）到 D（最严格的安全要求）。这个等级决定了后续整个开发流程需要投入多少安全工程资源。

这就是 ISO 26262 标准下的 Hazard Analysis and Risk Assessment（HARA）。它是汽车功能安全的核心环节，错了可能要人命。

现在问题来了：LLM 能做这件事吗？

SAFARI 基准：3000 个真实工业案例

SAFARI（Safety-Aware Functional Automotive Risk Inference）是第一个评估 LLM 辅助汽车 HARA 的工业基准。它包含 3000 个来自真实工业实践的脱敏 HARA 案例，覆盖两类任务：

1. 开放式危害分析：给定一个故障场景，生成可能的危害事件描述
2. 标准驱动的风险评估：根据 ISO 26262 对危害进行 S/E/C 评分和 ASIL 分类

这两类任务耦合在一起——危害分析的输出是风险评估的输入。危害描述写错了，后面的风险评分必然跟着错。这和那些"做选择题"的 benchmark 完全不同，它是一个级联敏感的推理流程。

为了评估开放式危害分析的质量，论文提出了第一个 HARA 专用的 LLM-as-a-judge 协议，从四个维度打分：危害链一致性、物理后果一致性、风险人群覆盖度、安全目标对齐度。这个评估协议和认证工程师的判断有很高的一致度。

九个前沿模型，全军覆没

论文测试了九个前沿 LLM，结果揭示了一个清晰的"能力边界"：

LLM 擅长的：生成看起来合理的危害叙述。给定"加速踏板卡住"的场景，模型能写出一段听起来很专业的危害描述——涉及车辆失控、可能碰撞行人、需要紧急制动等等。

LLM 不擅长的：ISO 26262 风险分类。最好的模型在 ASIL 分类上的 macro-F1 只有 0.261。

0.261 是什么概念？ASIL 有 5 个等级（QM、A、B、C、D），随机猜的 macro-F1 大约是 0.20。也就是说，最好的 LLM 只比随机猜好一点点。

更令人担忧的是，Chain-of-Thought（CoT）提示不仅没帮上忙，反而经常让分类表现更差。这和 CoT 在数学推理、代码生成等任务上的效果形成鲜明对比。

为什么 CoT 反而帮倒忙？

关键在于 HARA 的风险评估不是纯推理问题，而是标准驱动的判断问题。

ASIL 是由 S（Severity，严重程度）、E（Exposure，暴露频率）、C（Controllability，可控性）三个参数确定性推导出来的。S/E/C 的取值有明确的标准定义——比如 Exposure 分为 E0（不可能）到 E4（高频），Controllability 分为 C0（一般可控）到 C3（难以控制或不可控）。

问题在于，这些参数的判定需要大量隐含的物理世界知识。比如"雨天高速路上加速踏板卡死"的 Controllability 是 C3 还是 C2？你需要知道：雨天的路面附着力如何影响制动距离、普通驾驶员在惊慌状态下能否同时控制方向和制动、高速路上周围车辆的避让概率……

CoT 让模型"展示推理过程"，但模型的推理过程是基于不完整的场景理解。它可能写出一长串看似合理的分析，但关键的物理参数判断错了。CoT 不是在帮模型想清楚，而是在帮模型更自信地说错。

两个致命失败模式

论文的错误分析定位了两个主要瓶颈：

1. 场景关键上下文遗漏：危害分析阶段，模型经常遗漏场景中影响安全的关键细节。比如"夜间施工路段"这个上下文，模型可能只关注"加速踏板卡死"这个核心故障，而忽略了施工路段对避让空间的限制。遗漏的上下文导致危害描述不完整，进而导致风险评估偏差。

2. 可控性误判：风险评估阶段，模型在 Controllability 上错误率最高。这很合理——Severity 和 Exposure 相对客观（碰撞严重程度和场景频率可以从描述中推断），但 Controllability 需要一个"普通驾驶员"的心理模型：面对突发故障，普通驾驶员会做什么反应？能不能控制住？这是最难量化的维度。

"看起来合理" ≠ "正确"

这篇论文揭示了一个值得警惕的差距：LLM 能生成看起来合理的危害叙述，但无法可靠地进行标准驱动的风险分类。

这种差距特别危险。如果 LLM 完全不行，工程师不会用它。但 LLM "看起来很行"——它写的危害描述读起来专业、流畅、逻辑自洽。一个没有深度 HARA 经验的人可能被这种流畅性误导，直接采纳模型的输出。

0.261 的 ASIL macro-F1 意味着：在安全等级判定上，模型的正确率只比随机猜好一点。如果汽车安全工程师真的用 LLM 来做 ASIL 分类，然后据此分配安全资源——有些该按 ASIL D 处理的危害被分成了 ASIL B，安全投入不足，后果可能是致命的。

一个更广的启示

SAFARI 的发现和最近一系列"LLM 在专业领域不可靠"的研究形成呼应：

• 医疗领域：LLM 能写流畅的病历，但在药物相互作用判断上错误率居高不下
• 法律领域：LLM 能写法律文书，但在量刑建议上存在系统性偏差
• 安全工程：LLM 能写危害叙述，但在 ASIL 分类上 macro-F1 只有 0.261

共同模式是：生成能力 ≠ 判断能力。LLM 擅长把已有知识组织成流畅的文本，但不擅长在严格标准下做精确分类。前者是模式匹配，后者需要精确的规则应用和领域知识。

CoT 在前者上有效（帮模型组织思路），在后者上可能有害（帮模型更自信地犯错）。这个区分对 LLM 的实际部署至关重要。

论文的结论很务实：LLM 可以作为 HARA 的辅助工具——帮工程师起草危害描述、检查遗漏的场景。但风险评估的最终判断必须由认证工程师完成。模型是助手，不是决策者。

论文: SAFARI: An Industrial Benchmark for LLM-Assisted Hazard Analysis and Risk Assessment

代码: github.com/xixi47520-hash/HARA

作者: Chenxi Wu, Zimu Wang, Haiyang Zhang, Wei Wang, Zhijie Xu（西安交通大学-利物浦大学）

标准: ISO 26262 功能安全