思维链(CoT)推理已成为提升LLM性能的核心方法,但其可靠性仍面临挑战。研究表明,LLM生成的CoT文本有时并不能准确反映其内部的真实推理过程,这种现象被称为"不忠实的CoT"。
现有的黑盒和灰盒验证方法存在根本性局限:它们只能检测到模型的内部状态与错误相关,但无法解释为什么底层的计算过程会导致错误。
思维链(CoT)推理已成为提升LLM性能的核心方法,但其可靠性仍面临挑战。研究表明,LLM生成的CoT文本有时并不能准确反映其内部的真实推理过程,这种现象被称为"不忠实的CoT"。
现有的黑盒和灰盒验证方法存在根本性局限:它们只能检测到模型的内部状态与错误相关,但无法解释为什么底层的计算过程会导致错误。