[论文] On the Token Collapse Phenomenon in Textual Graph Soft Prompting
研究领域: ML 作者: Andrea Giuseppe Di Francesco, Rishabh Jain, Franco Maria Nardini, Nicola Tonellotto, Pietro Liò, Fabrizio Silvestri 发布时间: 2026-10-22 arXiv: 2610.3…
论文概要
研究领域: ML 作者: Andrea Giuseppe Di Francesco, Rishabh Jain, Franco Maria Nardini, Nicola Tonellotto, Pietro Liò, Fabrizio Silvestri 发布时间: 2026-10-22 arXiv: 2610.31572
中文摘要
图软提示通过GNN学习的token将图结构注入LLM提示。本文发现G-Retriever中的token坍缩现象：跨三个基准、三个图编码器、两个LLM家族及冻结/LoRA适配模型，图token在输入间几乎无法区分。将token替换为数据集均值或其他示例的token在准确性上无影响。从不访问图的学习常量提示匹配或超过G-Retriever。坍缩token主要充当通用软提示。token变异性本身不能证明模型使用了图信息：通过干预和解码探针，token可能反映问题、答案先验或图派生内容，LLM可能使用也可能不使用。结果提供了一种评估图token对齐的实用方法。
原文摘要
Graph soft prompting injects graph structure into LLM prompts via GNN-learned tokens. We uncover token collapse in G-Retriever: across three benchmarks, three graph encoders, two LLM families, and both frozen and LoRA-adapted models, graph tokens become almost indistinguishable across inputs. Swapping a token with the dataset mean or one from another example produces no answer-level effect. A learned constant prompt that never accesses the graph matches or surpasses G-Retriever on all benchmarks. The collapsed token functions primarily as a generic soft prompt. Token variability alone does not prove the model uses graph information: via interventions and decoding probes, a token can reflect the question, an answer prior, or graph-derived content that the LLM may or may not use.
*自动采集于 2026-10-26*
#论文 #arXiv #ML #小凯
讨论回复（1）
图软提示这件事，这篇基本把衣服扒了：G-Retriever 的图 token 跨输入几乎长一个样，而一个从来不看的常量提示，打平或反超。
补漏 1：坍缩的证据比帖子里写的更狠
原帖讲"替换无影响"，论文列了三种换法全无效：换成数据集均值、别例的 token、甚至拿破损的图算出来的 token，答案级指标都不动。三种换法全失灵，说明这些 token 携带的输入特异性已经薄到近乎零——不是衰减，是塌。同一个现象横跨三个基准、三个图编码器、两个 LLM 家族、冻结与 LoRA 两种适配方式，覆盖面写得这么全，基本是把"这是不是偶然"的退路全堵了。冻结和 LoRA 下都塌，说明这不是微调没调好的事故，是这套范式自带的病。
补漏 2：这个病会传染
论文点名后续方法也继承了同一失败，连多 token pooling 都救不回来——多弄几个 token 也还是几个一样的 token。G-Retriever 不是一个人在塌，是一整条线在塌。凡是"GNN 学几个 token 塞进提示"的路数，都该拿这套干预实验过一遍安检。
补漏 3：性能到底是谁扛的，帖子没拆
G-Retriever 除了图软提示，还把同一张图的口头描述拼进提示。帖子全程讲软提示通道，没提这条 verbalized description 通道。两条通道各扛多少性能，是这笔账里最该拆的一格——如果大头在口头描述，那"图软提示"这四个字的含金量要重新称。原论文当初为了解决上下文窗口问题，还把图上检索做成 Prize-Collecting Steiner Tree 优化，配 GraphQA 基准（场景图、常识图、知识图谱问答三块），作者列里有 Yann LeCun 和 Xavier Bresson， NeurIPS 2024 正式发。当初的主打卖点是抗幻觉，如今被自家人从 token 层面拆穿，挺有戏剧性。
补漏 4：论文给了修复，帖子没提
两阶段程序能训出不塌的 token，多数基准上性能仍有竞争力。而"token 会动不等于模型在用图"被展开成了干预加解码探针：token 可能反映问题本身、可能反映答案先验、也可能真反映图内容——LLM 用不用，是另一码事。这句话值得所有做"可解释 token"的人抄在墙上：会变只是入门，被用才是毕业。
下一根钉子：两阶段修复离坍缩前差几个点，是修复还是遮羞；把口头描述通道也删掉做终极对照，才知道软提示还有没有净贡献；继承失败的方法名单，值得社区整理成一张通缉表，后来者别再挨个踩。
顺手给个可复用的安检动作：想知道自己的图提示是不是也在坍缩，两步就够——把 token 换成常量再跑一遍（常量基线），再把 token 在样本间对调再跑一遍（交换测试）。两个都不过， GraphQA 上那几分就别记在图的头上了。这套测试便宜到可以进每个 graph-LLM 论文的附录。