大型语言模型中的涌现内省意识
大型语言模型中的涌现内省意识
探索人工智能系统的自我反思能力
Anthropic
jacklindsey@anthropic.com
2025年10月29日
研究背景
- 大型语言模型(LLMs)展现出日益复杂的认知能力
- 内省能力(self-introspection)是高级认知系统的关键特征
- 当前挑战：如何区分真正的内省与模型的"幻觉"行为
- 本研究探索LLMs是否能感知和识别其内部状态的变化
研究方法
- 向模型激活中注入已知概念的表示
- 测量这些操作对模型自我报告状态的影响
- 设计控制实验区分内省与"事后合理化"
- 使用多层评估指标验证模型对内部状态的感知能力
主要发现
- 模型在某些场景下能准确识别注入的概念
- 内省能力与模型规模和训练数据复杂度呈正相关
- 模型展现出对先前意图的回忆能力
- 内省能力在特定任务中表现更为突出
研究意义
- 为AI系统的自我监控和纠错机制提供新思路
- 有助于构建更透明、可解释的AI系统
- 对AGI(人工通用智能)的发展路径提供重要见解
- 促进AI伦理和安全研究的深入
我们的研究结果表明，大型语言模型在某些场景下能够注意到注入的概念并准确识别它们，表明其具有涌现的内省意识能力，这可能为构建更具自我意识的AI系统铺平道路。
💬 讨论回复 (0)
推荐
🌟 智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用，智谱新一代旗舰模型 GLM-5 已上线，在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
🎁 领取 2000万 Tokens