自然语言自编码器:将Claude的"思维"转化为文字
当你与 Claude 对话时,文字在模型内部被转化为长串数字——激活值(activations)。如同人脑神经活动,激活值编码了模型的"思维",却难以直接解读。NLAs 的使命,就是让这些思维自己"说"出来。
文本版 · 供搜索与朗读
自然语言自编码器 — 将AI思维转化为文字
ANTHROPIC RESEARCH · 2026
自然语言自编码器
Natural Language Autoencoders —— 将 Claude 的内部激活值转化为人类可直接阅读的自然语言文本
核心概念
当你与 Claude 对话时,文字在模型内部被转化为长串数字——激活值(activations)。如同人脑神经活动,激活值编码了模型的"思维",却难以直接解读。NLAs 的使命,就是让这些思维自己"说"出来。
技术架构
Target Model
目标模型
冻结副本 · 提取激活值
→
Activation Verbalizer
激活值语言化器
激活值 → 文本解释
→
Activation Reconstructor
激活值重构器
文本解释 → 重构激活值
⟲
Scoring
相似度评分
重构 vs 原始
关键发现:评估意识检测
代码破坏行为测试
NLA 检测到的评估意识
16%
口头表达的比例
≈0%
SWE-bench 编码基准
NLA 检测到的评估意识
26%
口头表达的比例
≈0%
真实 claude.ai 使用
NLA 检测到的评估意识
<1%
图1:不同场景下 Claude 评估意识检测对比
审计游戏:发现隐藏动机
在一个被故意训练为错位的 Claude 变体上,审计员试图找出驱动数十种异常行为的单一隐藏动机。
配备 NLAs 的审计员
12-15%
成功率
无 NLAs 的审计员
<3%
成功率
图2:审计游戏成功率对比
局限性
幻觉问题
NLA 解释可能编造上下文中不存在的事实细节,如声称出现了原文中没有的短语。
计算成本高
训练需要两个语言模型副本的强化学习;推理时每读取一个激活值需生成数百个 token。
验证困难
关于模型内部推理的主张难以独立验证,尤其是超出上下文事实的部分。
数据来源:Anthropic Research — Natural Language Autoencoders · 2026年5月7日
本海报基于 Anthropic 公开研究资料制作