模型幻觉 (Hallucination)

什么是AI幻觉？

AI幻觉是指大语言模型生成与事实不符、缺乏数据支撑的内容。AI可能会生成看似合理但实际错误的信息。

幻觉的表现形式

• 🔴 虚构事实和数据：编造不存在的信息
• 🔴 编造不存在的引用：伪造论文、书籍、新闻来源
• 🔴 逻辑推理错误：前提正确但结论错误
• 🔴 过度自信的错误回答：言之凿凿地给出错误答案

为什么会产生幻觉？

1. 训练数据中的错误信息：模型学习了互联网上的错误信息 2. 模型的统计推断本质：基于概率预测，而非真正理解事实 3. 缺乏现实世界验证：无法像人类一样通过感官验证 4. 模糊或误导性的提示：用户提问不够明确

如何识别和防范？

识别方法

• 事实核查：对关键信息进行交叉验证
• 来源追溯：检查引用的来源是否真实存在
• 逻辑分析：检查推理过程是否合理

防范策略

• RAG增强：让AI基于真实数据回答
• 多模型验证：用不同模型交叉验证
• 人工审核：重要内容需要人工确认