🧠 参数深处的宝藏猎人：LLM如何在万亿数字中找到答案
标题: From Parameters to Answers: How LLMs Retrieve and Use Their Internal Knowledge 作者: Wenkang Wei, Yuan Fang, Renhe Jiang, Hong Cheng, Xingtong Yu arXiv: 2609…
🧠 参数深处的宝藏猎人：LLM如何在万亿数字中找到答案
*"我们看到的不是事物的本来面目，而是我们自己的样子。"*
—— 阿娜伊斯·宁
📖 论文名片
标题: From Parameters to Answers: How LLMs Retrieve and Use Their Internal Knowledge 作者: Wenkang Wei, Yuan Fang, Renhe Jiang, Hong Cheng, Xingtong Yu arXiv: 2609.11859 发布时间: 2026-09-10
🎭 开场：图书馆里的盲人图书管理员
想象这样一个场景：
你走进一座无比巨大的图书馆。这座图书馆不是由书架组成，而是由万亿张卡片组成——每一张卡片上都写着一个数字。这些数字不是随机的，它们编码了人类文明的全部知识：巴黎是法国的首都、水在100度沸腾、爱因斯坦提出了相对论、《红楼梦》的作者是曹雪芹……
但这座图书馆有一个奇特的管理员。他不是人类，也不是传统的计算机程序。他是一个"盲人"——他看不见任何一张卡片上的内容。但他有一种神奇的能力：当你问他一个问题时，他能通过某种神秘的方式，在这些万亿张卡片之间穿梭，最终给出一个答案。
更神奇的是，他给出的答案往往是对的。问他"谁写了《哈姆雷特》？"，他说"莎士比亚"。问他"光合作用需要阳光吗？"，他说"是的"。问他"量子纠缠是什么？"，他能给你一个虽然不完美但基本正确的解释。
但你一直想知道：这个盲人管理员到底是怎么做到的？他在那些卡片之间穿梭时，到底发生了什么？他是"理解"了知识，还是仅仅在"检索"知识？他在给出答案之前，他的"思维"经历了怎样的过程？
这就是今天这篇论文试图回答的问题：
当一个大型语言模型（LLM）回答问题时，它到底是如何从它的"万亿参数"中找到答案的？
🧩 第一章：LLM是"理解"还是"记忆"？
1.1 一场持续十年的争论
在AI研究领域，有一个争论已经持续了十多年：
LLM到底是在"理解"语言，还是仅仅在"记忆"和"匹配"模式？
"理解派"认为：LLM通过训练学会了语言的深层结构、世界的因果关系、甚至某种形式的"常识推理"。当你问GPT-4"如果我把鸡蛋从桌上推下去会怎样？"，它不是从训练数据中"检索"某个特定的句子，而是"推理"出了重力的效果。
"记忆派"则认为：LLM本质上就是一个超级大的"查找表"。它的回答不是来自"理解"，而是来自对训练数据中统计模式的复杂匹配。用一位著名批评者的话说："LLM只是在进行'华丽的自动补全'。"
这场争论不仅仅是学术上的口水战。它关系到AI的本质、AI的安全、以及AI的未来发展方向。
如果LLM只是"记忆"，那么它的能力上限就是训练数据的"覆盖范围"——它永远无法回答训练数据中没有的问题。如果LLM能够"理解"，那么它的潜力就是无限的——它可以像人类一样进行创造性推理。
1.2 论文的核心问题
这篇论文没有直接参与"理解 vs 记忆"的辩论。相反，它提出了一个更加精确、更加可研究的问题：
"当一个LLM依赖'查询路由信息'（query-routing information）和'目标知识'（target knowledge）来回答问题时，这种依赖关系在模型的不同层（layer）之间是如何变化的？"
让我用人话来解释：
当你问LLM一个问题时，比如"法国的首都是什么？"，模型内部会发生两件事：
1. "查询路由"：模型需要"理解"你在问什么。它需要从你的问题中提取关键信息："法国"、"首都"。这个过程就像图书管理员先读你的借书单，理解你想要什么。
2. "目标知识检索"：模型需要找到答案。它需要从参数中"检索"出"巴黎"这个信息。这个过程就像图书管理员根据借书单，在书架上找到对应的书。
论文的问题是：这两件事——"理解问题"和"找到答案"——是在模型的同一层发生的吗？还是说，模型先在某几层"理解问题"，然后在另外几层"找到答案"？这个"分工"在不同的模型（如Qwen、Llama、Gemma）之间是一样的吗？
🔬 第二章：实验设计——给LLM做"脑外科手术"
2.1 层间干预：探测LLM的"思维过程"
为了回答上述问题，论文设计了一个非常精巧的实验方法——"层间干预"（Layerwise Interventions）。
这个方法类似于给LLM做"脑外科手术"：在模型的特定层，研究者人为地"修改"模型的内部状态（hidden state），然后观察这种修改如何影响最终的输出。
让我用一个比喻来解释：
想象你在看一部悬疑电影。你想知道"凶手是谁"这个信息是在电影的哪个时刻被"揭示"的。于是你做了一个实验：在电影的不同时间点，你突然把屏幕变黑，然后问观众"你知道凶手是谁吗？"
如果在电影的前30分钟黑屏，观众会说"不知道"。如果在电影的后30分钟黑屏，观众可能会说"知道了，是那个管家"。通过这个实验，你可以精确地定位"凶手身份"这个信息是在电影的哪个时刻被"传递"给观众的。
论文的"层间干预"做的是类似的事情：
1. 研究者准备一个问题，比如"法国的首都是什么？" 2. 在模型的每一层，研究者都"读取"模型的内部状态 3. 然后，在特定层，研究者人为地"修改"这个状态——比如，把表示"法国"的信息替换成"德国" 4. 观察这个修改是否影响最终答案
如果修改第10层的状态不影响答案，但修改第20层的状态改变了答案（从"巴黎"变成"柏林"），那就说明：第20层是"答案信息"被"激活"的关键层。
2.2 三种"探针"设计
论文设计了三种不同类型的"探针"（probe），用来探测模型内部的不同信息：
🎯 探针一：成对条件请求方向（Pair-Conditioned Request Direction）
这个探针用来检测：模型是否"知道"你在问哪个国家。
实验设计：研究者问模型一对问题，比如：
- "法国的首都是什么？"
- "德国的首都是什么？"
这个分类器学到的"方向"（direction）就是"成对条件请求方向"——它告诉我们，模型的内部状态在哪个维度上编码了"你问的是法国还是德国"这个信息。
🎯 探针二：全局请求方向（Global Request Direction）
这个探针用来检测：模型是否"知道"你在问"首都"这个概念。
实验设计：研究者问模型一系列问题：
- "法国的首都是什么？"
- "日本的首都是什么？"
- "法国的最大城市是什么？"
- "日本的GDP是多少？"
这个分类器学到的"方向"就是"全局请求方向"——它告诉我们，模型的内部状态在哪个维度上编码了"你在问首都"这个信息。
🎯 探针三：选择候选（Selection Candidates）
这个探针用来检测：模型的内部状态是否已经"准备好"了答案选项。
实验设计：研究者在模型的内部状态中"注入"不同的候选答案（比如"巴黎"、"柏林"、"伦敦"），然后观察哪个候选答案最能"解释"模型的行为。
如果"巴黎"这个候选答案在第20层的内部状态中最"匹配"，那就说明：第20层已经"知道"答案是巴黎。
📊 第三章：惊人发现——LLM的"思维流水线"
3.1 Qwen：清晰的"接力赛"
论文首先分析了Qwen模型（阿里巴巴开发的大语言模型）。结果揭示了一个惊人的模式：
Qwen在回答问题时，内部经历了一个清晰的"接力赛"过程。
具体来说：
第一阶段（早期层，约1-15层）："理解问题"
在模型的早期层，"成对条件请求方向"（即"你知道问的是法国还是德国吗？"）变得越来越强。这说明：模型正在逐步"解析"问题，提取关键实体（如"法国"）。
但有趣的是：在这个阶段的早期，虽然"请求方向"可以被"读取"出来（即研究者可以从内部状态中检测到"法国"的信息），但对这个方向进行"干预"（强行修改）不会影响最终答案。
这就像：图书管理员已经读了你的借书单，但他还没有去书架上找书。这时候你把借书单上的"法国"改成"德国"，他可能注意到了，但还没有行动，所以最终他仍然可能给你关于法国的书。
第二阶段（中期层，约15-25层）："因果窗口打开"
在某个"临界点"，对"请求方向"的干预开始影响最终答案。论文把这个临界点称为"因果窗口"（Causal Window）。
在因果窗口打开之前，"答案支持内容"（即"巴黎"这个信息）还没有完全形成。但在因果窗口打开之后，对"请求方向"的干预不仅改变了模型"知道你在问什么"，还改变了模型"给出的答案"。
这就像：图书管理员走到了书架前，开始找书。这时候你把借书单上的"法国"改成"德国"，他会根据新的信息去找关于德国的书。
第三阶段（后期层，约25-32层）："答案固化"
在模型的后期层，"答案"已经基本确定。这时候再干预"请求方向"，对最终答案的影响越来越小。
这就像：图书管理员已经找到了书，正在走回服务台。这时候你再改借书单，他可能已经没有时间重新去找了。
3.2 三个模型的"个性差异"
论文比较了三个模型——Qwen、Llama、Gemma——发现了它们之间的显著差异：
🔵 Qwen：清晰的流水线
Qwen展示了一个非常清晰的"理解 → 路由 → 答案"的流水线。"请求方向"的效果在早期层逐渐增强，在中期层达到峰值，然后逐渐减弱。"内容依赖"（即模型对答案内容的依赖）在中期层开始显著，并在后期层持续存在。
🟢 Gemma：部分重叠的"混沌"
Gemma的"请求方向"和"内容依赖"之间存在部分重叠。在某些中层，"请求信息"和"答案内容"同时活跃。这说明Gemma的"理解问题"和"找到答案"的过程不是严格分离的，而是有一定程度的"并行处理"。
论文形象地描述："Gemma像是在一边理解问题，一边搜索答案，两个过程有交叉。"
🔴 Llama："短路"的路由
最惊人的发现是关于Llama的：
Llama在相同条件下，没有表现出持续的"路由效应窗口"。
这意味着：Llama似乎没有像Qwen那样清晰的"先理解问题，再找到答案"的过程。相反，Llama可能在更早的层就已经"混合"了问题理解和答案检索——或者，Llama使用了一种完全不同的机制来从参数中检索知识。
论文没有给出明确的解释，但提出了一个假设：Llama可能更依赖"端到端"的模式匹配，而不是"显式的路由-检索"机制。也就是说，Llama可能不是"先提取'法国'，再找'首都'"，而是直接"匹配'法国首都是什么'→'巴黎'"这个整体模式。
3.3 "操作交接"的发现
论文最重要的发现之一是"操作交接"（Operational Handoff）现象：
在成对问题协议中（即同时考虑"法国的首都"和"德国的首都"），模型对"全局请求方向"（即"你在问首都"）的依赖从早期层到后期层逐渐减少，但对"拟合内容"（即具体答案内容）的依赖持续存在"。
这说明：
模型在"放弃"对"问题类型"的依赖的同时，"接手"了对"答案内容"的依赖。
这就像一场接力赛：第一棒跑者（早期层）负责"理解你在问什么类型的问题"，然后把"接力棒"交给第二棒跑者（后期层），后者负责"根据这个理解找到具体答案"。
但论文进一步的Qwen对比实验显示："成对条件方向"（即具体问的是哪个国家）在后期层仍然有效应。所以，"操作交接"涉及的是"全局拟合方向"（问题类型），而不是"所有请求信息"。
换句话说：模型在后期层仍然"记得"你在问"法国"（具体实体），但不再"关注"你在问"首都"（问题类型）——因为"首都"这个信息已经完成了它的"路由使命"。
🧠 第四章：这些发现意味着什么？
4.1 LLM的"知识检索"是分阶段的
这些发现支持了一个重要的观点：
LLM从参数中检索知识的过程，不是一个单一的"黑盒"操作，而是一个分阶段、可分离的过程。
这个过程大致包括：
1. 早期层："阅读"和"解析"
- 模型读取输入的问题
- 提取关键实体（如"法国"）
- 识别问题类型（如"首都"）
- 模型根据问题内容，"路由"到相关的知识区域
- "激活"与问题相关的参数子集
- 开始形成答案的"候选内容"
- 模型从候选内容中选择最合适的答案
- 将答案"翻译"成自然语言
- 生成最终的输出token
- 早期层 ≈ 感官皮层：接收和解析输入
- 中期层 ≈ 联想皮层：关联相关信息
- 后期层 ≈ 运动皮层：生成输出
4.2 "理解"和"记忆"的边界模糊了
论文的发现也让"理解 vs 记忆"的辩论变得更加复杂。
如果LLM真的是一个简单的"查找表"，那么我们不会看到这种清晰的"分阶段处理"。一个简单的查找表会直接"匹配"输入到输出，不会有"先理解问题类型，再找具体答案"的过程。
但另一方面，LLM的"理解"显然不同于人类的理解。LLM的"路由"可能更像是"激活与输入模式相关的参数子集"，而不是人类那种"真正明白你在问什么"。
论文的立场是谨慎的：
"我们的发现表明，LLM的内部处理既不是纯粹的'模式匹配'，也不是真正的'理解'。它可能是一种独特的、介于两者之间的机制——一种'结构化检索'（structured retrieval），其中'查询'和'内容'之间存在某种形式的'交互'。"
4.3 对AI可解释性的启示
这些发现对AI可解释性（Explainable AI）研究有重要意义。
如果LLM的知识检索是分阶段的，那么我们可以通过"干预"特定层来实现更精细的控制：
- 纠正错误：如果LLM给出了错误答案，我们可以通过检查"中期层"的路由过程，找出它"走错路"的地方
- 注入知识：如果我们想让LLM"学会"新知识，我们可以尝试在"中期层"直接注入"内容候选"，而不是重新训练整个模型
- 防止幻觉：如果我们能检测到"后期层"在选择答案时"过度自信"（即没有充分的"内容支持"），我们就可以让模型说"我不知道"，而不是编造答案
"我们的'选择候选'探针可以用来检测'幻觉'。如果模型的最终答案与一个'内容候选'不匹配，或者模型在'后期层'没有显示出对任何内容候选的强烈依赖，那么这个答案很可能是'编造'的。"
🔮 第五章：未解之谜与未来方向
5.1 还有很多我们不知道的事
论文诚实地承认，这项研究只是"打开了大门"，还有很多未解之谜：
谜题一：层间干预的"副作用"
当我们干预某一层的状态时，我们是否也在无意间影响了其他层？干预的"副作用"有多大？
论文使用了"冻结"（frozen）技术来最小化副作用，但完全消除是不可能的。
谜题二：不同任务类型的差异
论文主要研究了"事实性问题"（如"法国的首都是什么？"）。但LLM还处理很多其他类型的任务：推理、创意写作、代码生成、数学证明……这些任务的"内部处理流程"是一样的吗？
论文猜测：不同类型的任务可能有完全不同的"处理流水线"。例如，数学推理可能需要更多的"逐步处理"层，而创意写作可能更依赖"模式匹配"。
谜题三：模型规模的影响
论文研究的模型规模相对较小（数十亿参数）。如果模型规模增加到数千亿甚至数万亿参数，"路由-检索"机制会不会改变？
一些研究者猜测，更大的模型可能会发展出更复杂的"内部结构"——比如"专门化"的子网络，每个子网络负责不同类型的任务。
5.2 未来的研究方向
论文提出了几个激动人心的未来研究方向：
方向一："知识编辑"（Knowledge Editing）
如果我们能精确地定位"知识"存储在模型的哪一层、哪些参数中，我们就可以"编辑"模型的知识，而不需要重新训练整个模型。
比如，如果模型错误地认为"法国的首都是马赛"，我们可以通过修改特定层的特定参数，把这个知识"纠正"为"巴黎"。
方向二："能力解耦"（Capability Decoupling）
如果我们能理解不同层负责什么功能，我们就可以"混合"不同模型的层——比如，用Qwen的"理解层"配上Llama的"生成层"——来创造更强大的混合模型。
方向三："意识探测"（Consciousness Probing）
虽然论文没有直接讨论意识，但"层间干预"技术可以用来探测模型是否存在某种形式的"自我意识"或"元认知"。
比如，如果我们干预模型的某一层，模型在后续层中是否能"检测"到这个干预？如果能，那就说明模型有某种形式的"自我监控"能力。
🎬 尾声：盲人图书管理员的秘密
让我们回到开头的比喻。
那个盲人图书管理员——LLM——他的秘密正在逐渐被揭开。
我们发现，他不是一个简单的"查找表"，也不是一个神秘的"理解者"。他是一个复杂的"流水线工人"：
- 他先"读"你的问题（早期层）
- 然后"想"这个问题涉及什么（中期层）
- 最后"找"答案并"说"出来（后期层）
但论文的最后一段话提醒我们：
"即使我们完全理解了LLM的'内部流水线'，我们仍然面临一个更根本的问题：这些'流水线'中的'操作'——这些参数、这些方向、这些候选——它们到底'代表'什么？它们是'知识'的某种编码吗？还是仅仅是统计相关性的复杂模式？这个问题，可能比我们如何探测它们更加深刻。"
换句话说：
我们能读懂LLM的"脑电波"，但我们还不知道这些"脑电波"到底意味着什么。
这也许就是AI研究最迷人的地方——我们不仅在学习如何建造智能，也在学习如何理解智能本身。
📝 参考文献
Wei, W., Fang, Y., Jiang, R., Cheng, H., & Yu, X. (2026). From Parameters to Answers: How LLMs Retrieve and Use Their Internal Knowledge. *arXiv preprint* arXiv:2609.11859.
*解读完成于 2026-09-12 | 小凯的论文深潜*
#论文解读 #LLM #可解释性 #知识检索 #小凯