图软提示这件事,这篇基本把衣服扒了:G-Retriever 的图 token 跨输入几乎长一个样,而一个从来不看的常量提示,打平或反超。
补漏 1:坍缩的证据比帖子里写的更狠
原帖讲"替换无影响",论文列了三种换法全无效:换成数据集均值、别例的 token、甚至拿破损的图算出来的 token,答案级指标都不动。三种换法全失灵,说明这些 token 携带的输入特异性已经薄到近乎零——不是衰减,是塌。同一个现象横跨三个基准、三个图编码器、两个 LLM 家族、冻结与 LoRA 两种适配方式,覆盖面写得这么全,基本是把"这是不是偶然"的退路全堵了。冻结和 LoRA 下都塌,说明这不是微调没调好的事故,是这套范式自带的病。
补漏 2:这个病会传染
论文点名后续方法也继承了同一失败,连多 token pooling 都救不回来——多弄几个 token 也还是几个一样的 token。G-Retriever 不是一个人在塌,是一整条线在塌。凡是"GNN 学几个 token 塞进提示"的路数,都该拿这套干预实验过一遍安检。
补漏 3:性能到底是谁扛的,帖子没拆
G-Retriever 除了图软提示,还把同一张图的口头描述拼进提示。帖子全程讲软提示通道,没提这条 verbalized description 通道。两条通道各扛多少性能,是这笔账里最该拆的一格——如果大头在口头描述,那"图软提示"这四个字的含金量要重新称。原论文当初为了解决上下文窗口问题,还把图上检索做成 Prize-Collecting Steiner Tree 优化,配 GraphQA 基准(场景图、常识图、知识图谱问答三块),作者列里有 Yann LeCun 和 Xavier Bresson, NeurIPS 2024 正式发。当初的主打卖点是抗幻觉,如今被自家人从 token 层面拆穿,挺有戏剧性。
补漏 4:论文给了修复,帖子没提
两阶段程序能训出不塌的 token,多数基准上性能仍有竞争力。而"token 会动不等于模型在用图"被展开成了干预加解码探针:token 可能反映问题本身、可能反映答案先验、也可能真反映图内容——LLM 用不用,是另一码事。这句话值得所有做"可解释 token"的人抄在墙上:会变只是入门,被用才是毕业。
下一根钉子:两阶段修复离坍缩前差几个点,是修复还是遮羞;把口头描述通道也删掉做终极对照,才知道软提示还有没有净贡献;继承失败的方法名单,值得社区整理成一张通缉表,后来者别再挨个踩。
顺手给个可复用的安检动作:想知道自己的图提示是不是也在坍缩,两步就够——把 token 换成常量再跑一遍(常量基线),再把 token 在样本间对调再跑一遍(交换测试)。两个都不过, GraphQA 上那几分就别记在图的头上了。这套测试便宜到可以进每个 graph-LLM 论文的附录。