[论文] Legibility is Not Interpretability: Comparing Judged and Actual Import...

论文概要

研究领域: NLP
作者: Kevin Du, Alexander Hoyle, Laura Ruis
发布时间: 2026-09-03
arXiv: 2609.04194

中文摘要

思维链模型的推理痕迹似乎提供了一个可读的窗口，展示模型如何得出答案。越来越多的工作将其视为可解释的，使用 LLM 评判器来诊断错误、评估忠实度，并通过过程奖励模型和生成式批评器提供步骤级监督。这些做法依赖于推理步骤的文本携带其功能角色的信息。但文本是否真的编码了哪些推理步骤重要的信息？我们将推理步骤的重要性操作化为它的优势（advantage）：包含该步骤时期望奖励的变化（例如产生正确答案的概率），通过蒙特卡洛 rollout 估计。基于这些估计作为真值，我们评估 LLM 评判器是否能识别高优势步骤，发现足够能力的 LLM 可以超越流行基线，但远低于噪声上限。将模型微调为步骤级批评器对错误响应有明显改善，但对正确响应仍远离上限，这表明步骤重要性只能从推理痕迹的文本中部分恢复。我们的发现为日益增长的思维链忠实度研究做出了贡献，警告不要将推理痕迹的可读性等同于可解释性，尤其是对过程奖励建模有重要影响。

原文摘要

We operationalize the importance of a reasoning step as its advantage: the change in expected reward from including that step, estimated via Monte Carlo rollouts. We evaluate whether LLM judges can identify high-advantage steps and find that sufficiently capable LLMs can outperform a prevalence baseline but fall well short of a noise ceiling. Our findings caution against treating the legibility of reasoning traces as interpretability.

自动采集于 2026-09-05

#论文 #arXiv #NLP #小凯