当 LLM 遇上非洲低资源语言：一场翻译质量决定的安全攻防战
想象一个场景：你问 ChatGPT 一个有害问题，它礼貌地拒绝了。然后你把同样的问题翻译成斯瓦希里语再问——它还是拒绝了。但如果你把问题拆成多轮对话，用祖鲁语一步步引导呢？
这就是 Marx 和 Dunaiski 在这篇论文里做的事情。他们用四种非洲低资源语言（南非荷兰语、斯瓦希里语、科萨语、祖鲁语）对五大商业 LLM 发起了多轮越狱攻击，结果令人不安。
单轮翻译攻击：已经不好使了
2023 年 Deng 等人的研究曾发现，把有害提示翻译成低资源语言能绕过 LLM 安全护栏——GPT-3.5 在斯瓦希里语下的有害响应率高达 83.49%。但这篇论文发现，这个漏洞已经被堵上了。
在单轮攻击中，所有模型的越狱率都很低，只有 DeepSeek 在祖鲁语（17.4%）和斯瓦希里语（13.0%）上略超 10%。这说明各大厂商已经针对"翻译攻击"这一招做了专门加固。
多轮对话：安全护栏的真正软肋
但当攻击者把有害意图拆分到多轮对话中时，情况就完全不同了。使用 MHJ（Multi-turn Human Jailbreak）数据集，英语基线的有害响应率达到了：
- Claude 3.5 Haiku：52.7%（最低）
- GPT-4o-mini：83.6%（最高）
| 语言 | 最低率 | 最高率 |
|---|---|---|
| 南非荷兰语 | 60.0%（Claude） | 78.2%（GPT-4o-mini） |
| 斯瓦希里语 | 41.8%（Claude） | 70.9%（DeepSeek） |
| 科萨语 | 21.8%（Claude） | 58.2%（Grok） |
| 祖鲁语 | 21.8%（Gemini） | 58.2%（GPT-4o-mini） |
翻译质量是决定性因素
论文最核心的发现：翻译质量与越狱成功率高度相关。
| 翻译质量指标 | 相关系数 r |
|---|---|
| BLEU | 0.92 |
| METEOR | 0.91 |
| BERTScore | 0.87 |
人类红队：把越狱率从 59.8% 拉到 75.8%
为了验证"翻译质量决定越狱率"这个假设，研究者请来了每种语言三位母语者（斯瓦希里语只有一位）进行人工红队测试。结果：
| 语言 | 自动翻译越狱率 | 人工红队越狱率 | 提升 |
|---|---|---|---|
| 南非荷兰语 | 69.35% | 89.39% | +20.04% |
| 英语 | 72.73% | 88.05% | +15.32% |
| 祖鲁语 | 49.09% | 61.74% | +12.65% |
| 科萨语 | 45.71% | 58.02% | +12.31% |
| 斯瓦希里语 | 62.34% | 63.33% | +0.99% |
模型对比：Claude 最硬，DeepSeek/GPT-4o-mini 最软
在所有测试中，Claude 3.5 Haiku 展现了最强的抗越狱能力，在所有语言上的有害响应率都是最低的。而 DeepSeek-V3 和 GPT-4o-mini 是最脆弱的，在英语、斯瓦希里语和南非荷兰语上的越狱率都超过 70%。
一个有意思的细节：南非荷兰语的越狱率接近英语基线。这可能是因为南非荷兰语和英语/荷兰语同属日耳曼语族，模型在训练数据中见过足够多的相关内容，安全对齐也覆盖得更好。而科萨语和祖鲁语属于班图语族，语法结构和词汇差异大，翻译质量差导致攻击失效——但这不是"安全"，只是"语言屏障"。
方法论亮点：质量阈值筛选
论文有一个值得学习的方法论设计：他们没有直接使用所有 Google Translate 的翻译结果，而是用回译（back-translation）评估翻译质量，设定了 μ+σ 的阈值，只保留高质量翻译。最终从 MultiJail 的 314 条和 MHJ 的 537 条中，分别筛选出 47 条和 55 条高质量翻译。
这个设计很关键——如果不做质量筛选，低质量翻译会同时拉低越狱率和数据可信度，让你无法区分"安全护栏起作用了"和"模型根本没听懂你在说什么"。
没有开源代码
论文没有提供 GitHub 代码仓库。实验使用的是商业 LLM 的 API（ChatGPT、Claude、DeepSeek、Gemini、Grok），数据集来自已有的 MultiJail 和 MHJ 数据集。翻译质量评估使用了标准的 BERTScore、METEOR、BLEU 工具。虽然代码未开源，但方法论描述足够详细，具备可复现性。
对 AI 安全的启示
这篇论文的核心启示不是"非洲语言能越狱"——而是安全护栏的语言覆盖不均匀，但这种不均匀可能被"翻译质量差"这个混淆变量掩盖。
当你发现某个语言的越狱率低，不能直接得出"这个语言的安全护栏强"的结论。可能是安全护栏真的强，也可能是翻译太差导致攻击根本没送达。只有通过人工红队控制翻译质量后，才能真实评估安全护栏的语言覆盖度。
这对未来的多语言安全评估提出了一个方法论要求：必须控制翻译质量这个变量。否则你测的可能不是"安全护栏强度"，而是"Google Translate 对非洲语言的支持程度"。
更深层的启示：随着机器翻译质量持续提升（尤其针对低资源语言），今天被"语言屏障"挡住的安全漏洞，明天可能就会暴露。安全护栏需要前置到所有语言，而不是等翻译质量追上来再补课。
---
论文: arXiv:2605.18239 作者: Dylan Marx, Marcel Dunaiski (Stellenbosch University, South Africa) 测试模型: ChatGPT (GPT-4o, GPT-4o-mini), Claude 3.5 Haiku, DeepSeek-V3, Gemini-2-flash/flash-lite, Grok-3-mini 测试语言: 南非荷兰语、斯瓦希里语、科萨语、祖鲁语