隐喻有方向:在LLM的几何空间里找到隐喻的开关

这些隐喻不只是修辞装饰。Lakoff 和 Johnson 在 1980 年的经典著作中指出:隐喻是人类认知的基本机制,我们通过一个领域来理解另一个领域。

目录
  1. "时间就是金钱"——这句话在LLM里长什么样?
  2. 方法:在残差流里找"隐喻子空间"
  3. 1. Activation Patching(激活补丁)
  4. 2. Distributed Alignment Search(DAS,分布式对齐搜索)
  5. 三个数据集,三个任务
  6. 结果:隐喻确实有"方向",而且可以控制
  7. 为什么这件事有意思
  8. 1. 隐喻是认知的窗口
  9. 2. 可控生成的可能性
  10. 3. 机制可解释性的又一例证
  11. 诚实评价

"时间就是金钱"——这句话在LLM里长什么样?

"时间就是金钱"、"论证是战争"、"爱情是一场旅程"。

这些隐喻不只是修辞装饰。Lakoff 和 Johnson 在 1980 年的经典著作中指出:隐喻是人类认知的基本机制,我们通过一个领域来理解另一个领域。

如果隐喻真的是认知基础设施,那大语言模型内部应该有某种结构来表示它。阿姆斯特丹大学的 Shihui Li、Mette Andersen 和 Martha Lewis 做的事情就是:在 LLM 的几何空间里找到隐喻的"方向",然后像拧旋钮一样控制它。

方法:在残差流里找"隐喻子空间"

论文用了两种机制可解释性技术:

1. Activation Patching(激活补丁)

思路很直接:如果某个位置的激活向量编码了"这是不是隐喻"的信息,那把它替换成别的激活,模型的隐喻判断应该会改变。

具体做法:在模型处理"时间就是金钱"时,把某个位置的激活向量"补丁"到处理"时间就是资源"的模型上,看输出是否从"字面义"翻转到"隐喻义"。

2. Distributed Alignment Search(DAS,分布式对齐搜索)

DAS 更进一步:不是直接替换激活,而是找一个低维子空间(subspace),使得在这个子空间上做干预,能因果地改变模型的隐喻判断。

这就像在一个高维空间里找到一条"隐喻轴"——沿着这条轴推一推,输出就更隐喻;反方向推,输出就更字面。

论文对比了 DAS 和 Marks & Tegmark (2024) 的 mass-mean steering 方法。mass-mean 是算"隐喻样本的平均激活"和"非隐喻样本的平均激活"的差,然后加到模型上。DAS 更精细,找的是因果有效的方向而非统计平均。

三个数据集,三个任务

实验覆盖了三种词类:

  • NOUN:名词隐喻("时间是金钱")
  • ADJ:形容词隐喻("冰冷的目光")
  • DOM:领域特定形容词(特定语境下的隐喻用法)
三个任务:
  • 识别(Identification):这句话是隐喻还是字面?
  • 理解(Interpretation):这个隐喻是什么意思?
  • 生成(Generation):让模型生成隐喻/字面文本

结果:隐喻确实有"方向",而且可以控制

核心发现:

分类任务上:在多种 LLM(不同架构、不同规模)上,都能找到因果有效的子空间,使得沿这个方向干预能改变模型的隐喻判断。跨词类都有效——名词、形容词、领域特定形容词。

生成任务上:干预这个子空间能控制生成文本的"隐喻度"。拧高,模型输出更隐喻;拧低,输出更字面。

这意味着:隐喻在 LLM 里不是某种分散的、不可定位的现象,而是有几何结构的、可定位可干预的"方向"。

为什么这件事有意思

1. 隐喻是认知的窗口

如果 LLM 内部有"隐喻方向",那说明模型不只是学会了"隐喻这种修辞手法",而是学会了隐喻背后的概念映射——用一个领域结构化地理解另一个领域。这是人类认知的核心能力之一。

2. 可控生成的可能性

能控制隐喻度,意味着你可以:

  • 让模型在需要精确表达时降低隐喻度(医疗、法律场景)
  • 让模型在需要创意写作时提高隐喻度(文学、广告)
  • 研究不同模型、不同训练阶段对隐喻的编码差异

3. 机制可解释性的又一例证

这篇论文是"在模型内部找到因果结构"这个大方向的一个具体案例。之前的工作找到了"真话方向"、"情感方向"、"拒绝方向"。现在加上"隐喻方向"——越来越多的高层语义概念被发现有对应的几何结构。

这指向一个越来越清晰的图景:LLM 的内部不是黑箱,而是一个有结构的几何空间,不同的语义维度对应不同的方向。我们正在学会读这张地图。

诚实评价

论文的局限:

  • 实验主要在中小规模模型上(Llama 3 等),超大规模模型上的效果未验证
  • "隐喻"是一个模糊的概念——不同类型的隐喻(死隐喻、扩展隐喻、混合隐喻)可能对应不同的内部结构,论文没有细分
  • DAS 找到的子空间在不同模型之间是否"对齐"(同一方向代表同一含义)未讨论
  • 生成任务的质量评估用了 LLM-as-judge,这本身有可靠性问题
  • 没有开源代码
但作为一个"概念验证"——证明隐喻在 LLM 里有可定位的几何结构——这篇论文做到了它该做的。


论文:arxiv.org/abs/2610.31520

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens