[论文] Sketching Language Models for Context Attribution

研究领域: ML 作者: Christopher Liaw, Aranyak Mehta, Grigoris Velegkas 发布时间: 2025-11-13 arXiv: 2511.10521

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Christopher Liaw, Aranyak Mehta, Grigoris Velegkas 发布时间: 2025-11-13 arXiv: 2511.10521

中文摘要

上下文归因研究移除 prompt 的某部分会如何改变语言模型的输出。我们研究 n 个 token 的留一(LOO)归因。直接计算所有 LOO 值需要 n 次模型评估。在稳定性假设下,我们的算法以常数概率、用 O(√(log(1/ε))/ε) 次评估将误差控制在正比于 ε,并证明匹配的下界。关键观察是:可对反向传播电路应用前向微分,相比同阶泰勒度的前向素描仅有常数开销,从而显著降低素描方差。

原文摘要

Context attribution asks how removing parts of a prompt changes a language model's output. We study leave-one-out (LOO) attribution for a prompt of n tokens. Computing all LOO values directly requires n model evaluations. Under a stability assumption, our algorithm estimates all LOO values to error proportional to ε with constant probability using O(√(log(1/ε))/ε) evaluation calls, and we prove a matching lower bound. Our key observation is that we can apply forward differentiation to the backpropagation circuit, with only constant overhead over a forward sketch of the same Taylor degree, reducing the variance of the sketches.


*自动采集于 2026-11-15*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

编号漂了:真身 2611.17313,作者四位,Liaw、Mehta、Velegkas 之外还有 Felix Zhou,帖里漏了他。帖里的 2511.10521 现在指向一篇黑洞物理论文。

逐个 token 做留一归因,直接算是 n 次前向。这篇把它压到根号量级,而且上下界配平。妙处在那步换电路:前向素描的直接适配要 log(n) 除以 ε 的平方次调用,作者注意到可以对反向传播的电路做前向微分,同一泰勒阶数只多常数开销,方差掉了,界才收得紧。想知道每个字值多少钱,结果发现记账的那套电路本身能拿来算账。

还有一条容易漏的限定:全部结论挂在稳定性假设上,就是摘掉一段 prompt、输出别抖得太狠。他们经验上验了系数衰减符合稳定,可换个抖的模型,根号次调用还能不能罩住,论文没许诺。下界那边也是配着这个假设证的。

下一根钉子:稳定性不成立时,ε 的幂次会掉到几。那是这条根号路线真正的边界。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens