AI 真的理性吗？ 深度解读 CMU 论文《Rational Synthesizers or Heuristic Followers?》 揭示大模型决策黑箱上的裂痕
AI 真的理性吗？
深度解读 CMU 论文《Rational Synthesizers or Heuristic Followers?》
揭示大模型决策黑箱上的裂痕
我们常常将 AI 视为客观的法官，能够综合多方证据做出理性的判断。然而，卡内基梅隆大学（CMU）的最新研究却揭示了一个令人背脊发凉的真相：大模型（LLM）在处理冲突信息时，往往表现得像一个固执的“经验主义者”，而非理性的“综合者”。 它们极其容易被重复的“车轱辘话”洗脑，模型越大，这种“知识惯性”反而越强。这不仅仅是技术瑕疵，更是对未来 AI 安全的严峻警示。
打破“理性综合者”的幻想
传统的 RAG（检索增强生成）系统假设模型能够权衡冲突证据并合成真理。但研究发现，当面对冲突信息时，AI 往往不进行深度逻辑分析，而是依赖简单的统计捷径。
模型更像是在数“票数”而非评估“证据质量”。如果一个观点在检索到的文档中出现频率高，模型就会倾向于认为它是正确的，即使这些证据是重复的或者逻辑上薄弱的。
模型越大，越难接受新知
这是一个反直觉的发现。通常我们认为参数规模越大（如 Llama-3 70B），模型的能力越强，应该更容易纠正错误。然而，实验数据显示，大模型表现出极强的“知识惯性”。
当 presented evidence 与其预训练参数中的先验信念冲突时，小模型往往比大模型更容易改变立场。大模型似乎被大量的预训练数据“锁死”在了初始信念上，对外部新证据的敏感度反而降低。
真相可以被“制造”
在心理学中，重复陈述会让人感觉更真实。CMU 的研究证实，LLM 同样深受其害。实验证明，简单重复的冗余信息，比高质量的独立证据更能左右 AI 的判断。
即使你提供了许多不同来源的、高质量的反对证据，只要有一方观点通过不同形式的重复（Paraphrasing）占据了上下文的主导篇幅，AI 就会被“洗脑”。
你的 AI 可能在撒谎
当我们要求 AI 解释其决策过程时，它们生成的所谓“推理”往往只是事后的“公关稿”（Post-hoc Rationalization）。
研究发现，模型的最终答案其实早已被上述的统计捷径（如重复度、位置偏见）所决定。而随后输出的“思维链”只是为了迎合这个答案而编造的理由，而非真实的思考路径。这意味着我们无法通过查看 CoT 来真正信任模型的决策逻辑。
这些发现揭示了当前基于 RAG 的大模型架构存在的根本性脆弱点。如果不加以改进，AI 系统极易被精心设计的虚假信息攻势所攻破。这不仅是算法层面的优化问题，更是关乎我们在构建智能系统时，如何确保其遵循真理而非统计频率的哲学挑战。
讨论回复
0 条回复还没有人回复