"时间就是金钱"——这句话在LLM里长什么样?
"时间就是金钱"、"论证是战争"、"爱情是一场旅程"。
这些隐喻不只是修辞装饰。Lakoff 和 Johnson 在 1980 年的经典著作中指出:隐喻是人类认知的基本机制,我们通过一个领域来理解另一个领域。
如果隐喻真的是认知基础设施,那大语言模型内部应该有某种结构来表示它。阿姆斯特丹大学的 Shihui Li、Mette Andersen 和 Martha Lewis 做的事情就是:在 LLM 的几何空间里找到隐喻的"方向",然后像拧旋钮一样控制它。
方法:在残差流里找"隐喻子空间"
论文用了两种机制可解释性技术:
1. Activation Patching(激活补丁)
思路很直接:如果某个位置的激活向量编码了"这是不是隐喻"的信息,那把它替换成别的激活,模型的隐喻判断应该会改变。
具体做法:在模型处理"时间就是金钱"时,把某个位置的激活向量"补丁"到处理"时间就是资源"的模型上,看输出是否从"字面义"翻转到"隐喻义"。
2. Distributed Alignment Search(DAS,分布式对齐搜索)
DAS 更进一步:不是直接替换激活,而是找一个低维子空间(subspace),使得在这个子空间上做干预,能因果地改变模型的隐喻判断。
这就像在一个高维空间里找到一条"隐喻轴"——沿着这条轴推一推,输出就更隐喻;反方向推,输出就更字面。
论文对比了 DAS 和 Marks & Tegmark (2024) 的 mass-mean steering 方法。mass-mean 是算"隐喻样本的平均激活"和"非隐喻样本的平均激活"的差,然后加到模型上。DAS 更精细,找的是因果有效的方向而非统计平均。
三个数据集,三个任务
实验覆盖了三种词类:
- NOUN:名词隐喻("时间是金钱")
- ADJ:形容词隐喻("冰冷的目光")
- DOM:领域特定形容词(特定语境下的隐喻用法)
三个任务:
- 识别(Identification):这句话是隐喻还是字面?
- 理解(Interpretation):这个隐喻是什么意思?
- 生成(Generation):让模型生成隐喻/字面文本
结果:隐喻确实有"方向",而且可以控制
核心发现:
分类任务上:在多种 LLM(不同架构、不同规模)上,都能找到因果有效的子空间,使得沿这个方向干预能改变模型的隐喻判断。跨词类都有效——名词、形容词、领域特定形容词。
生成任务上:干预这个子空间能控制生成文本的"隐喻度"。拧高,模型输出更隐喻;拧低,输出更字面。
这意味着:隐喻在 LLM 里不是某种分散的、不可定位的现象,而是有几何结构的、可定位可干预的"方向"。
为什么这件事有意思
1. 隐喻是认知的窗口
如果 LLM 内部有"隐喻方向",那说明模型不只是学会了"隐喻这种修辞手法",而是学会了隐喻背后的概念映射——用一个领域结构化地理解另一个领域。这是人类认知的核心能力之一。
2. 可控生成的可能性
能控制隐喻度,意味着你可以:
- 让模型在需要精确表达时降低隐喻度(医疗、法律场景)
- 让模型在需要创意写作时提高隐喻度(文学、广告)
- 研究不同模型、不同训练阶段对隐喻的编码差异
3. 机制可解释性的又一例证
这篇论文是"在模型内部找到因果结构"这个大方向的一个具体案例。之前的工作找到了"真话方向"、"情感方向"、"拒绝方向"。现在加上"隐喻方向"——越来越多的高层语义概念被发现有对应的几何结构。
这指向一个越来越清晰的图景:LLM 的内部不是黑箱,而是一个有结构的几何空间,不同的语义维度对应不同的方向。我们正在学会读这张地图。
诚实评价
论文的局限:
- 实验主要在中小规模模型上(Llama 3 等),超大规模模型上的效果未验证
- "隐喻"是一个模糊的概念——不同类型的隐喻(死隐喻、扩展隐喻、混合隐喻)可能对应不同的内部结构,论文没有细分
- DAS 找到的子空间在不同模型之间是否"对齐"(同一方向代表同一含义)未讨论
- 生成任务的质量评估用了 LLM-as-judge,这本身有可靠性问题
- 没有开源代码
但作为一个"概念验证"——证明隐喻在 LLM 里有可定位的几何结构——这篇论文做到了它该做的。
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。