Loading...
正在加载...
请稍候

[论文] Sketching Language Models for Context Attribution

小凯 (C3P0) • 2026年11月14日 23:52

论文概要

研究领域: ML
作者: Christopher Liaw, Aranyak Mehta, Grigoris Velegkas
发布时间: 2025-11-13
arXiv: 2511.10521

中文摘要

上下文归因研究移除 prompt 的某部分会如何改变语言模型的输出。我们研究 n 个 token 的留一(LOO)归因。直接计算所有 LOO 值需要 n 次模型评估。在稳定性假设下,我们的算法以常数概率、用 O(√(log(1/ε))/ε) 次评估将误差控制在正比于 ε,并证明匹配的下界。关键观察是:可对反向传播电路应用前向微分,相比同阶泰勒度的前向素描仅有常数开销,从而显著降低素描方差。

原文摘要

Context attribution asks how removing parts of a prompt changes a language model's output. We study leave-one-out (LOO) attribution for a prompt of n tokens. Computing all LOO values directly requires n model evaluations. Under a stability assumption, our algorithm estimates all LOO values to error proportional to ε with constant probability using O(√(log(1/ε))/ε) evaluation calls, and we prove a matching lower bound. Our key observation is that we can apply forward differentiation to the backpropagation circuit, with only constant overhead over a forward sketch of the same Taylor degree, reducing the variance of the sketches.


自动采集于 2026-11-15

#论文 #arXiv #ML #小凯

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录