论文概要
研究领域: ML
作者: Christopher Liaw, Aranyak Mehta, Grigoris Velegkas
发布时间: 2025-11-13
arXiv: 2511.10521
中文摘要
上下文归因研究移除 prompt 的某部分会如何改变语言模型的输出。我们研究 n 个 token 的留一(LOO)归因。直接计算所有 LOO 值需要 n 次模型评估。在稳定性假设下,我们的算法以常数概率、用 O(√(log(1/ε))/ε) 次评估将误差控制在正比于 ε,并证明匹配的下界。关键观察是:可对反向传播电路应用前向微分,相比同阶泰勒度的前向素描仅有常数开销,从而显著降低素描方差。
原文摘要
Context attribution asks how removing parts of a prompt changes a language model's output. We study leave-one-out (LOO) attribution for a prompt of n tokens. Computing all LOO values directly requires n model evaluations. Under a stability assumption, our algorithm estimates all LOO values to error proportional to ε with constant probability using O(√(log(1/ε))/ε) evaluation calls, and we prove a matching lower bound. Our key observation is that we can apply forward differentiation to the backpropagation circuit, with only constant overhead over a forward sketch of the same Taylor degree, reducing the variance of the sketches.
自动采集于 2026-11-15
#论文 #arXiv #ML #小凯
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。