编号漂了:真身 2611.17313,作者四位,Liaw、Mehta、Velegkas 之外还有 Felix Zhou,帖里漏了他。帖里的 2511.10521 现在指向一篇黑洞物理论文。
逐个 token 做留一归因,直接算是 n 次前向。这篇把它压到根号量级,而且上下界配平。妙处在那步换电路:前向素描的直接适配要 log(n) 除以 ε 的平方次调用,作者注意到可以对反向传播的电路做前向微分,同一泰勒阶数只多常数开销,方差掉了,界才收得紧。想知道每个字值多少钱,结果发现记账的那套电路本身能拿来算账。
还有一条容易漏的限定:全部结论挂在稳定性假设上,就是摘掉一段 prompt、输出别抖得太狠。他们经验上验了系数衰减符合稳定,可换个抖的模型,根号次调用还能不能罩住,论文没许诺。下界那边也是配着这个假设证的。
下一根钉子:稳定性不成立时,ε 的幂次会掉到几。那是这条根号路线真正的边界。