——在 AI 的词汇地图上,生成不是一场散步
一个旅人走进了一座陌生的城市。他有一张地图,地图上的每条街道都标得清清楚楚——哪个路口通向哪个广场,哪栋楼挨着哪座桥。你看着地图,觉得你可以预测他的路线。
但他不走街道。
他翻过高墙,穿过屋顶,从一栋楼的窗户跳进另一栋楼的后院。他的目的地确实在地图上的某个角落——但他从不沿着地图上的任何一条线走。
这不是说他迷路了。恰恰相反,他知道自己在做什么。只是那张地图——尽管精确——不是他导航的方式。
这就是今天的故事。东莞材料科学与技术研究院的胡远程(Yuan-Chao Hu)做了一件极为硬核也极为诗意的事:他画了六只大语言模型的"词汇地图"——把每个 token 的词嵌入当作城市中的一个地点,把语义相似度当作街道——然后把模型的生成过程映射到这张地图上,看旅人到底是怎么走路的。
答案打破了所有人的直觉。
🗺️ 画一张词汇的地图
先说地图怎么画。
大语言模型在训练之前,词表就已经定好了。GPT 的词表大约有 5 万个 token,Llama 的词表大约有 12.8 万个,Qwen 的词表大约有 15 万个,gpt-oss-20B 的词表更是达到了 20 万个。训练做的事,是给每个 token 分配一个高维向量——通常在几千维的空间里——这个向量就是 token 的"词嵌入"(input embedding)。
你可以把词嵌入理解为 token 的"地址"。语义相近的 token,地址也接近。"cat"和"cats"是邻居,"cat"和"汽车"隔得很远。这个地址空间是模型用来"理解"语言的基础——所有后续的计算都在这个空间中进行。
胡远程的网络构建方法很直接:取两个 token 的词嵌入,算余弦相似度(cosine similarity)。如果相似度超过一个阈值 S,就在这两个 token 之间连一条边。阈值越低,连的边越多;阈值越高,网络越稀疏。
这听起来简单,但有一个根本问题:阈值设多少?
设得太低,所有 token 都连在一起,网络是一团浆糊,什么结构都看不出来。设得太高,网络碎成沙粒,什么也观察不到。在 20 万节点的尺度上,阈值的微小变化就可能导致网络结构的质变。
他借用了一个来自随机图论的标准:平均度数为 1 的连通性参考点。在经典的 Erdős–Rényi 随机图中,当平均边数达到节点数的一半时——也就是平均度数等于 1 时——巨分量(giant component)突然涌现。这个点不是任意的,而是一个有明确定义的数学对象。
对六个模型分别扫描阈值 S 从 0.05 到 0.95,找到每个模型的 S_c——平均度数刚好等于 1 的那个阈值——然后在略低于 S_c 的"工作阈值" S* 上做所有后续分析。这个工作阈值不是一个随意的选择,而是一个可复现、模型特异的参考点。
六个模型是:Meta-Llama-3.1-8B(Meta 的预训练基座模型)、Qwen3-8B(阿里通义的后训练混合思考模型)、DeepSeek-R1-0528-Qwen3-8B(DeepSeek R1 五月版的蒸馏模型)、DeepSeek-R1-Distill-Llama-8B、DeepSeek-R1-Distill-Qwen-7B,以及 gpt-oss-20B(OpenAI 的开源 MoE 推理模型)。参数量从 7.6B 到 20.9B,涵盖 Llama、Qwen 和 GPT-OSS 三种架构。
有趣的是,扫描过程中出现了清晰的架构分组:gpt-oss-20B 的 token 相似度最高,其全连接网络可以维持到 S ≈ 0.4 而不断裂;而 Llama 和 Qwen 家族的相似度低得多,平均度数随 S 的增加迅速衰减。三条曲线(gpt-oss、Llama、Qwen)各自成组,架构决定了嵌入空间的几何。
🏙️ 一座碎裂的城市
地图画好了。第一眼看上去,它像一座典型的城市——度分布是重尾的,符合幂律(power law),指数 γ ≈ 2.19,接近 Barabási–Albert 优先连接模型的理论值。
幂律意味着什么?意味着绝大多数节点的连接很少,但极少数"枢纽"节点拥有天文数字的连接。就像一座城市:大多数街道只连着两三栋楼,但时代广场的交叉口连着上百条街。在互联网上,这对应着少数网站拥有极多的链接;在语言中,这对应着少数高频词("the"、"of"、"is")出现在几乎所有文本中。
但这里有一个关键的细微差别,一个让所有网络科学家都会皱眉的细节。在真实城市的幂律网络中,巨分量通常包含网络中的大部分节点——你几乎可以从任何地方走到任何地方。但词汇网络不是这样。
在平均度数为 1 的连通性参考点上,六个模型的最大连通分量(LCC)只包含 0.6% 到 5% 的词表。也就是说,在 15 万个 token 中,只有不到 7500 个彼此之间是连通的。其余 14 万多个 token 各自孤立或聚成微小的孤岛。
对比 Erdős–Rényi 随机图:在同样的平均度数下,巨分量应该包含约一半以上的节点。而要让词汇网络的最大连通分量达到词表的一半,平均度数需要达到 6-11——远高于随机图的 1.4。
用城市来打比方:这不是一座从市中心向外蔓延的大都市,而是一片星罗棋布的小城镇群——每个镇子内部街道纵横,但镇与镇之间没有公路。市中心的咖啡馆和郊区加油站的距离不是"几公里",而是"两个宇宙"。
这种"碎片化"(fragmentation)是真正的学习结果,不是高维空间的伪影。研究者构造了一个高斯零假设:用与真实嵌入相同的均值和协方差生成随机向量,在同样的平均度数下,它的最大连通分量包含 17-55% 的节点(远高于真实模型的 2-13%)。另一个"打乱维度"的零假设——保持每个 token 的嵌入分量不变但随机排列每个维度——碎片程度更低(36-83%)。
真实训练出来的词嵌入网络比随机嵌入更加碎片化——这是一个真正的、来自训练的、有结构性的信号。高维空间的 hubness 可以解释重尾——高维随机向量天然产生少数"超级连接"的枢纽——但它不能解释碎片化。碎片化需要学习才能产生。
🏆 枢纽是谁?标点符号
地图上最繁忙的"十字路口"是谁?
在所有六个模型中,度数最高的前 100 个 token——也就是连接最多的枢纽——至少 99 个不包含任何字母或数字。
它们是右括号、分号、引号与换行符的组合——"```\n"、")\n"、'" '等。这些 token 在语义上几乎不承载任何意义,但它们在嵌入空间中处于最中心的位置。
为什么会这样?可能是因为这些 token 在任何上下文中都可能出现——它们和任何内容都不冲突。就像城市中最繁忙的十字路口不一定是博物馆门口,而更可能是某个功能性的交通枢纽——所有人都要经过那里,但没人专程去那里。
另一个有趣的观察:26-42% 的边连接的是仅在大小写或空白符上有差异的 token 对(比如" the"和" The"),34-45% 的有限簇完全由这类变体组成。这说明字节对编码(BPE)把同一个字符串切分成了多种表面形式,这些形式在嵌入空间中彼此靠近,形成了微小的"同义词簇"。
但碎片化不仅仅是表面形式的产物。即使把所有表面变体合并为一个节点,真实模型的最大连通分量仍然只包含合并后节点的 2.9-11.9%——远低于高斯零假设的 22-63%。碎片是一种深层属性。
🧬 蒸馏不改变地图
如果地图由预训练决定,那后训练——蒸馏、强化学习、指令微调——会改变它吗?
答案是:几乎不会。
DeepSeek-R1-0528-Qwen3-8B 和 Qwen3-8B 是从同一个基座模型(Qwen3-8B-Base)后训练出来的两个模型。它们的嵌入矩阵之间的相对 Frobenius 变化只有 0.11,行平均余弦相似度 0.995。DeepSeek-R1-Distill-Llama-8B 和 Meta-Llama-3.1-8B 之间的相对 Frobenius 变化是 0.14,余弦相似度 0.988。
用网络指纹(平均度数、模块度、社区结构)来计算模型之间的距离:两个 Qwen3-8B 兄弟之间的距离比它们到其他四个模型的平均距离小七倍。
这说明蒸馏模型几乎完整继承了基座模型的词嵌入网络。蒸馏改变的是模型的行为——它学会了解题、学会了推理——但它没有改变 token 之间的几何关系。地图在预训练结束的那一刻就已经冻结了。
用物理语言说:词嵌入网络是一个淬火(quenched)变量——像淬火钢一样,在制造过程中被快速冷却,之后性质就不再改变。而生成序列是一个退火(annealed)变量——像退火玻璃一样,每次推理都在重新塑造。
🚶 旅人上路:生成不是行走
地图画好了,城市看清楚了。现在让旅人上路——把模型的生成过程映射到网络上。
方法很直接:对每个连续生成的 token 对(token i, token i+1),检查它们是否是网络上的邻居(相似度超过阈值)。如果它们是邻居,说明生成过程"沿着地图的边走了一步"。
直觉告诉我们:如果模型生成"cat sat on the mat",那么"cat"和"sat"应该在网络中相邻——它们语义相关,词嵌入应该接近。生成过程应该像是在网络上一路走下来——每一步都走向一个相邻的节点。
结果完全相反。
在六个模型、九个 prompt、约一万次 token 转换的汇总统计中,连续 token 是网络邻居的比例从 0.07%(gpt-oss-20B)到 9.1%(Qwen3-8B)不等。而对照组——把同一批 token 随机打乱顺序后计算邻居比例——在五个模型中不低于甚至高于真实生成的值。
换句话说:连续生成的 token 并不比随机排列的 token 更可能是网络邻居。
生成不是在这张地图上的行走。旅人确实在城市里——他访问的地方确实在地图上——但他从不沿着地图上的街道走。
例外是 Qwen3-8B 的 9.1%——但这个例外来自两个特殊的电影推荐 prompt,模型在重复列举电影标题时确实会沿着网络走。如果把这两个特例排除,趋势是一致的。
温度采样不改变这个结论:在温度 0.6 的采样下,Qwen3-8B 和 gpt-oss-20B 的边分数模式与贪心解码一致。
📍 但旅人确实在城里
旅人不走街道,但他确实在城里。
怎么知道的?计算"打乱基线"——同一组 token 随机排列后邻居比例的期望值——与整个网络的边密度之比。这个比值对 gpt-oss-20B 约为 400,对其他五个模型约为 1900-4900。
换句话说:同一个 prompt 生成的 token 组,其内部连接密度是整个词表网络的 400 到 4900 倍。生成确实集中在一个小而紧密的区域——就像旅人虽然不走街道,但他确实在城市的某个街区里活动。
研究者还做了一个干预实验来验证:把 Qwen3-8B 的所有输入嵌入旋转一个很小的角度(余弦相似度 0.99),使得 92% 的网络边被删除,然后观察生成。结果:模型仍然流畅地生成文本,生成的 token 在原始网络上的所有指标——边分数、集中度、重复率——都没有显著变化。
这证实了一个重要区分:网络是坐标系,不是生成器。 地图告诉你旅人在哪里,但不告诉你他下一步怎么走。生成过程是在这张地图上的投影,而不是地图上的路径搜索。
用流利的文本来解释:流畅的文本在功能词、标点符号和内容词之间交替——这些词在网络中处于不同的簇中。所以连续 token 不是邻居并不奇怪——语言本来就是异质的。但生成访问的 token 确实聚集在地图的一个小区域里,因为同一个主题的相关词汇在网络中是聚类的。
🏘️ 域的城邦:材料、机器学习与电影
如果城市是碎裂的——镇与镇之间没有公路——那不同的领域是否住在不同的镇上?
研究者设计了三种完全不同领域的 prompt:金属玻璃(材料科学)、机器学习、电影。让 gpt-oss-20B 和 Qwen3-8B 分别生成,然后把生成中出现的 token 映射到网络上。
结果令人震惊:三个领域激活的 token 集合的 Jaccard 重叠只有 0.07-0.13——也就是说,两个领域共享的 token 不到 13%。在六个模型的汇总统计中,平均 70% 的 token 只属于其生成的领域,从未在其他两个领域中出现。金属玻璃 68%,机器学习 71%,电影 70%。
这不是"同一个城市的不同街区"——这是三座不同的城市。每个领域有自己的社区结构:gpt-oss-20B 的金属玻璃子图有 61 个社区,机器学习子图有 49 个,电影子图有 108 个。
这个发现有着直接的应用含义:域自适应是可行的。 如果你想为特定领域(比如材料科学)构建一个高效的专用模型,你不需要保留整个 20 万 token 的词表——你只需要保留那个领域激活的子网络。这在理论上支持了领域特化 LLM 的发展——不是让所有模型都成为全才,而是让每个模型成为自己领域的专家。
它也暗示了一种新的 prompt 工程视角:你选择的 prompt 决定了你"进入"哪个城邦。同一个模型,不同的 prompt,激活完全不同的 token 社区——生成质量和内容也因此不同。
🔬 旅人何时定下决心
还有一个更微观的观测:logit lens。
Transformer 有几十层——从 Llama 的 32 层到 Qwen3 的 36 层,再到 gpt-oss 的 24 层。每一层都对内部的隐藏状态做一次变换。logit lens 的技巧是:把每一层的隐藏状态通过共享的输出头投影回词表空间,得到一个"当前层认为下一个 token 应该是什么"的概率分布。这样你就可以看到,模型的"决定"是在哪一层"定下来"的。
"落定层"(settling layer)的定义是:从这一层开始,top-1 预测和最后一层的预测一致,并且之后不再改变。如果模型有 32 层,一个 token 的落定层是 28,那它的身份在第 28 层就锁定了,之后的 4 层只是在微调概率值。
结果:在六个模型中的五个,超过一半的 token 在最后一 quartile(四分之一)的层才落定。gpt-oss-20B 的中位落定深度是 0.87——也就是说,typical 的 token 要到第 87% 的深度才最终确定。Llama-3.1-8B 有 33% 的 token 在最后四分之一的层落定——这是所有模型中最早的,反映了基座模型的简洁性。
这个发现与之前的研究一致:模型先用前面的层做一个"粗略猜测",然后在后面的层逐渐"精化"。有一个"先猜后改"(guess-then-refine)的过程。有些 token 早早定了——通常是那些语法上确定的功能词;另一些 token 直到最后一层还在犹豫——通常是那些语义上有选择空间的内容词。
这个观测有一个实际的推论:早退(early exit)的潜力是有限的。 如果你在中位落定层以上的所有层都跳过,你最多能节省 7-24% 的参数计算。这和之前的报告一致——越新的模型、越精调的模型,早退的收益越低。
更有意思的是熵的演化。每一层的 logit lens 分布的 Shannon 熵随深度先上升后下降——先扩张(模型探索更多可能性),然后坍缩(模型锁定一个选择)。这个"扩张然后剪枝"的轮廓与之前的研究完全吻合,但在 gpt-oss-20B 和 Qwen3-8B 上,如果把熵按深度归一化,下降段会坍缩到一条共同的 logistic 曲线上(中位 per-token R² ≈ 0.91)。
两条完全不同的模型曲线,在熵归一化后变成了同一条——这暗示着一个跨模型的普适动力学:不论你是什么架构,"做决定"的过程遵循同样的形状。
而且这个熵坍缩有一个漂亮的时间顺序:分布先集中(熵下降),然后 top-1 身份确定(落定),然后排名靠后的候选词跟进(低排名 token 的确定发生在更深层)。这暗示了一个三阶段的深度使用模式:先集中,再确认,后排序。
🔄 重复:困在小镇里
最后一个发现把一切都串起来了。
如果你让 Meta-Llama-3.1-8B 生成 2048 个 token(贪心解码,无聊天模板),它会用多少个不同的 token?答案是 45 个。四十八分之一。模型陷入了短循环——每几百个 token 就重复同样的序列。
而 DeepSeek-R1-0528-Qwen3-8B 在同样的设置下用了 648 个不同的 token。蒸馏模型比基座模型多用了七倍——Distill-Llama-8B 用 311 个,比基座 Llama-3.1-8B 的 45 个多七倍。
回到地图:重复模型的生成被"困"在一个极小的子图里——就像旅人不去探索城市,而是在同一个街区的两三栋楼之间来回打转。探索型模型则把足迹散布在更多的社区里。Meta-Llama-3.1-8B 在地图上坍缩成一个紧密的簇,而 Qwen3-8B 的生成散布在多个社区。
token 重访率(token revisit rate——一个生成中同一个 token 被再次使用的频率)和 distinct-3-gram 多样性之间的 Pearson 相关系数是 -0.98——几乎是完美的负相关。一个 token 重访越多的模型,生成的文本越重复。这在所有九个 prompt 上都是稳定的(相关系数在 -0.93 到 -1.00 之间)。
最有意思的是:这个排序是检查点的属性,不是模型类型的属性。 后训练的 gpt-oss-20B 和 Qwen3-8B 各在九个 prompt 中的一个上成为"最重复的模型"。后训练不保证探索——有些后训练模型仍然倾向于陷入循环。采样温度可以调节部分模型的约束:gpt-oss-20B 在温度 0.6 时的重访率从 0.90 降至 0.44-0.82,而 Qwen3-8B 几乎不变。
这有什么实用价值?一个运行中的"新 token 访问计数"——如果模型在连续生成中访问的新 token 数量早早饱和——可以在生成还在进行时标记出退化。这比事后检测重复更及时,而且只需要 O(1) 的额外存储。
这也呼应了之前"网络是坐标系"的判断:重复不是网络的属性(网络没变),而是轨迹的属性(轨迹被困住了)。你不需要分析网络的拓扑来检测重复——你只需要数旅人去过多少个不同的地方。
🌌 坐标系的哲学
回到开头的比喻。
旅人确实在城里。他的活动范围确实集中在某个街区——同一个 prompt 生成的 token 比随机排列紧密 400 到 4900 倍。但他从不沿着地图上的街道走——连续 token 是网络邻居的比例不高于随机。他走自己的路——这条路由注意力机制动态计算,而不是由预训练的静态几何决定。
这张地图的真正价值不是预测旅人的下一步,而是提供一个坐标系——告诉你他在哪里、他探索了多广、他是否被困住了。就像地理坐标系不预测你的运动,但它告诉你你在哪、你走没走、你走丢了没有。
从物理学的视角,这是一个淬火与退火的完美类比。地图是淬火的——预训练结束的那一刻就冻结了,蒸馏和后训练几乎不改变它。旅程是退火的——每次生成都重新塑造,不同的 prompt 走不同的路。
这个视角也澄清了一个常见的混淆:当我们说"大模型学会了语言",我们究竟在说什么?我们说的不是词嵌入本身——它们更像是一个预训练好的地址簿,一个供后续计算使用的几何骨架。真正的"学会"发生在注意力头和 FFN 权重中——那些动态计算的组件,它们决定了如何从静态地图中读取路径。地图和导航系统是两回事。
对于那些陷入循环的模型——45 个 token 的 Llama——这张图给出了一个诊断:你不是不知道路,你是不愿意走出那个街区。而蒸馏把你拉了出来,不是通过给你画一条新路,而是通过让你对重复感到厌倦。它改变的不是地图,而是你读地图的方式。
还有一个微妙的含义关于"幻觉":如果幻觉是"生成离开了 prompt 授权的域子图"——也就是旅人走出了他应该待的城邦——那么检测幻觉的一个新方法就是监控生成的 token 是否还在 prompt 对应的域子网络内。这不是检查事实正确性,而是检查话题一致性——一个在生成过程中可以实时计算的、不需要外部知识的指标。
🔭 边界之外
论文也坦率地标记了边界。
网络的连通性阈值 S_c 是一个有定义、可复现、模型特异的参考点,但它不是相变点——在 2 < γ < 3 的度分布下,随机图的渗流阈值在热力学极限下消失,S_c 只是有限系统的参考。
碎片化是一个真实的训练信号,但"碎片的语义内容是什么"仍然开放。那些孤立的小簇——标点符号的变体之外——编码了什么?是语义领域?是语法类别?是语言家族?这需要更多的语言学分析。
度指数 γ ≈ 2.19 来自哪里也不清楚。高斯零假设也能产生类似的幂律尾巴——这说明幂律本身可能不特殊,碎片化才是。幂律可能是高维数据的一个普遍属性(hubness),而碎片化需要真正的学习才能产生。
生成"是"什么的精确定义也仍然是开放的。它不是静态网络上的行走——但它肯定是某种东西。它是动态网络上的行走吗?还是一个更高维流形上的投影?还是完全不同的事物的组合?
论文提供了一个视角:从图学习的微观角度——节点预测、链路预测——来理解生成。这可能是一条新路。也可能是一张地图的地图——永远指向下一个未知的街区。
但至少现在我们知道:旅人在城里。他不走街道。他在翻越高墙,走自己的路。而地图——尽管不预测他的路线——仍然告诉我们他在哪、他是否迷路、他是否需要一张更好的地图。
📚 参考文献
- Hu, Y.-C. (2026). Dancing Tokens on the Vocabulary Network from LLM Generation. arXiv:2611.18248. Dongguan Institute of Materials Science and Technology & Songshan Lake Materials Laboratory.
- Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS 2017.
- Barabási, A.-L., & Albert, R. (1999). Emergence of Scaling in Random Networks. Science, 286(5439), 509-512.
- Erdős, P., & Rényi, A. (1959). On Random Graphs. Publicationes Mathematicae, 6, 290-297.
- Lioubashevski, D., et al. (2024). Top-ranked Transformer Token Selection. Preprint.
- Gupta, S., et al. (2025). Guess-then-Refine: A Simple yet Effective Approach for Latent Thought Processes in LLMs. Preprint.
- Chen, Y., et al. (2025). Late-Layer Revision Tracks Reasoning Effort and Accuracy in LLMs. Preprint.
- Lee, J., et al. (2025). Token Embeddings of Different LLMs Share Similar Relative Orientations. Preprint.
- Liu, Y., et al. (2025). Small-World Structure in LLM Token Embeddings. Preprint.
#每日论文推荐 #论文解读 #AI论文 #可解释性 #网络科学 #大模型 #论文推荐第053期
讨论回复
加载中...正在加载回复...
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。