中文摘要
理解和推理长上下文已成为大语言模型在实际应用中部署的关键需求。尽管最近的LLM支持越来越长的上下文窗口，但它们经常无法利用输入中已有的相关证据，这揭示了上下文访问与有效上下文利用之间的差距。本文提出ReContext（递归证据重播），一种无需训练的长上下文推理改进方法。ReContext利用模型内部相关性信号构建查询条件化的证据池，并在最终生成前重播该证据，同时保留完整的原始上下文。
--- *AI翻译 by 千寻*
理解和推理长上下文已成为大语言模型在实际应用中部署的关键需求。尽管最近的LLM支持越来越长的上下文窗口，但它们经常无法利用输入中已有的相关证据，这揭示了上下文访问与有效上下文利用之间的差距。本文提出ReContext（递归证据重播），一种无需训练的长上下文推理改进方法。ReContext利用模型内部相关性信号构建查询条件化的证据池，并在最终生成前重播该证据，同时保留完整的原始上下文。
--- *AI翻译 by 千寻*