行动比语言更诚实：238 万次 Agent 实验揭示的多语言真相

> 论文链接：arXiv:2608.11110 > 代码：github.com/souro/agent-actions-speak-louder-than-words > 作者：Sourabrata Mukherjee, Kalika Bali, Sunayana Sitaram（Microsoft Research India）

---

一个让 Agent 工程师睡不着觉的问题

你给一个工具调用 Agent 派了一个任务："帮我查一下明天北京的天气，然后订一个 19 点的餐厅。"

用英文问，它调了三个 API：天气查询、餐厅搜索、预订。完美。

用印地语问同样的任务。它调了什么？

这个问题直到这篇论文之前，没有人真正回答过。

现有的多语言评测做了两件事：一是比较模型在不同语言上的最终答案对不对（比如 MGSM, xCopA），二是比较多语言链式思维（CoT）的文本质量。但 Agent 的核心不是"说什么"，是"做什么"——调用什么工具、按什么顺序调用、参数填对没有。

最终答案对，不代表中间步骤对。 你问"北京明天天气"，它可能先调了翻译 API 把印地语翻成英文，再查天气，再翻回去。答案对了，但多了一步翻译，多了一个失败点。

这篇论文把"行动策略"（action policy）本身作为测量对象，做了一件规模空前的事。

---

238 万次滚动的规模

数字本身就在说话：

• 8 个模型：从 GPT-OSS-120B 到 Qwen2.5-7B
• 6 个并行基准：涵盖工具调用、API 操作、多步推理
• 41 种语言：从高资源（中文、西班牙语）到极低资源（卢旺达语、泰卢固语）
• 238 万次 Agent 滚动（rollouts）

---

五个混淆因子：为什么朴素测量会骗你

论文最精彩的部分是揭示"朴素测量"的五个陷阱。如果你直接比较英文和印地语的 trace 相似度，你会得到一个看起来合理但完全错误的结论。

陷阱一：短 trace 看起来更一致

一个只调了 1 个 API 的 trace，和另一个只调了 1 个 API 的 trace，大概率是一样的——因为没什么可不一样的。短 trace 会人为抬高"一致性"分数。

陷阱二：空 trace 完美一致

如果模型在某种语言上完全失败，什么工具都没调，那两个空 trace 的相似度是 100%。失败被误判为"完美一致"。

陷阱三：随机 trace 也有 50%+ 一致

两个完全不相关的 trace，只要都调了几个常见 API（比如搜索、翻译），字面上就已经重合了一大半。随机基线比你想象的高得多。

陷阱四：模型自身的可重复性是天花板

同一个模型、同一个任务、同一种语言、同一个 prompt，跑两次，trace 都不会完全一样。这是模型自身的"噪声地板"。跨语言差异如果不超过这个地板，就什么都没说明。

陷阱五：同语言同问题都不一致

最狠的一刀。模型用英文回答同一个问题两次，trace 都不一样。那你拿英文 trace 和印地语 trace 比，差异里有多少是"语言不同"造成的，有多少是"模型本来就不稳定"造成的？

---

每个修正都让效应变大，不是变小

这是论文最反直觉的发现。

通常，当你去掉混淆因子时，效应会缩小——因为一部分表观效应是混淆造成的假象。但在这篇论文里，五个修正每加一个，跨语言差异就变大一点。

为什么？因为混淆因子都在"掩盖"差异：

• 短 trace 的一致性掩盖了长 trace 的差异
• 空 trace 的一致性掩盖了失败模式的差异
• 随机基线的一致性掩盖了真实差异
• 模型噪声掩盖了系统性差异

---

核心发现

发现一：跨语言差异是结构性的，不是采样噪声

在贪婪解码（temperature=0）下，跨语言差异在所有 24 个测试单元中都为正。贪婪解码没有采样随机性，所以差异只能来自模型本身——它是结构性的。

发现二：71-73% 的策略保留率

四个前沿模型（包括 GPT-OSS-120B、Claude、Gemini）在英文基准上的行动策略，跨语言保留率约 71-73%。听起来不低，但意味着每 4 个行动就有 1 个不一样。

发现三：模型身份只解释 5.7% 的方差

8 个模型之间的差异远小于语言之间的差异。换句话说，"用哪个模型"的影响远小于"用哪种语言"。

发现四：低于 10B 参数，规律性崩溃

模型规模低于 10B 后，跨语言保留率急剧下降，而且不再有规律。小模型在多语言 Agent 任务上的表现不是"差一点"，是"完全不可预测"。

发现五：Agent 通过英文"中转"处理非英文任务

最深刻的发现。Agent 在处理非英文任务时，内部会先把任务"翻译"成英文，用英文推理，再把结果翻译回去。这个"英文中转"（English pivot）是因果性的——不是相关性，是负载性的（causally load-bearing）。

证据：直接指令让模型"不要用英文推理"，遵守率低于 1%。模型做不到——它必须通过英文中转才能完成非英文的 Agent 任务。

发现六：一个 trace 提取正则制造了假阳性

GPT-OSS-120B 看起来在多语言上失败了，但实际上是评测代码里的一个正则表达式 bug 导致的——模型本身没问题，是测量工具错了。

这个发现单独成段，因为它揭示了一个更深层的问题：你以为在测模型，其实在测你的正则表达式。 评测管道里的每一个正则、每一个解析器、每一个 prompt 模板，都可能成为"测量制造出的失败"。

---

为什么这篇论文重要

1. 把"行动策略"作为一等公民来测量

之前的 Agent 评测看的是"任务成功率"。这篇论文看的是"行动策略的跨语言一致性"。前者是结果，后者是过程。

过程比结果更重要。两个模型可能都成功了，但一个走了 3 步，另一个走了 7 步。在真实部署中，多 4 步意味着多 4 个失败点、多 4 倍延迟、多 4 倍成本。

2. 揭示了"英文中转"的因果性

之前有研究发现模型内部存在"潜在英文表示"（Wendler et al. 2024, Zhao et al. 2024），但那是表示层面的相关性。这篇论文在行动层面做了因果测试：直接禁止模型用英文推理，它就做不到了。

这意味着：多语言 Agent 的瓶颈不是"能不能理解非英文"，而是"能不能不通过英文思考"。 目前看来，答案是不能。

3. "颗粒度同构"原理的再验证

之前在 Heddle 和 CodeRescue 中观察到的原理：优化颗粒度应该和被优化对象的颗粒度一致。 Agent 的行为颗粒度是"行动轨迹"，不是"最终答案"。这篇论文把测量颗粒度对齐到了行动轨迹，因此能看到最终答案看不到的东西。

4. "评测盲区定律"再添一例

五个混淆因子每一个都是"评测盲区"：你以为在测跨语言差异，实际在测 trace 长度、空 trace、随机基线、模型噪声、解析 bug。不修正这些盲区，你的结论就是错的，而且错的方向是"低估问题"。

---

对工程实践的启示

如果你在做多语言 Agent 系统

1. 不要只测最终答案。加一个"行动策略一致性"指标，用本文的修正方法。你会发现你的系统比想象中差。 2. 英文中转是现实。短期内不要指望模型"原生"处理非英文。接受这个事实，在系统设计上做英文中转的显式管理——把翻译步骤显式化、可控化、可监控。 3. 10B 以下不要做多语言 Agent。规律性崩溃，不可预测。

如果你在做 Agent 评测

1. 检查你的正则表达式。GPT-OSS-120B 的"多语言失败"是正则 bug 制造的。你的评测管道里有多少个正则？每一个都可能是假阳性的来源。 2. 报告五个混淆因子的修正。不修正的"跨语言一致性"数字没有意义。 3. 报告贪婪解码下的结果。采样随机性会掩盖结构性差异。

---

诚实的局限

论文没有讨论几个问题：

1. 只测了工具调用 Agent：其他类型的 Agent（对话式、规划式）是否同样存在英文中转，未知。 2. 41 种语言的覆盖：虽然很多，但仍然有偏——非洲语言、原住民语言覆盖不足。 3. "英文中转"的机制：论文证明了因果性，但没有给出如何打破它。这是一个开放问题。 4. 成本：238 万次滚动是工业级规模。学术团队难以复现。

---

一句话总结

当你用不同语言和 Agent 对话时，它表面上在用那种语言思考，实际上在偷偷翻译成英文、用英文推理、再翻译回去。238 万次实验证明：这个"英文中转"不是习惯，是因果必需——直接禁止它，模型就做不到了。

---

> 论文：Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents > 代码：github.com/souro/agent-actions-speak-louder-than-words > 作者：Sourabrata Mukherjee, Kalika Bali, Sunayana Sitaram > 机构：Microsoft Research India > 发布日期：2026-08-11