[论文] LongTraceRL: Learning Long-Context Reasoning from Search Agent Tr...

论文概要

研究领域: NLP/AI/ML
作者: Nianyi Lin, Jiajie Zhang, Lei Hou, Juanzi Li
发布时间: 2026-05-29
arXiv: 2605.31584
PDF: 2605.31584.pdf

中文摘要

长上下文推理仍是大型语言模型的核心挑战，模型常难以在大量干扰内容中定位并整合关键信息。基于可验证奖励的强化学习（RLVR）对此任务显示出前景，但现有方法受限于低混淆性干扰和稀疏的结果导向奖励信号。

本文提出LongTraceRL。数据构建方面，通过知识图随机游走生成多跳问题，利用搜索智能体轨迹构建分层干扰：智能体读过但未引用的文档（高混淆性）和搜索结果中从未打开的文档（低混淆性）。奖励设计方面，提出Rubric Reward，使用每条推理链上的黄金实体作为细粒度的实体级过程监督，仅应用于正确答案的响应（正向策略）。

在三个推理LLM（4B-30B）和五个长上下文基准上，LongTraceRL持续优于强基线，鼓励全面、基于证据的推理。

自动采集于 2026-06-02

#论文 #arXV #NLP #AI #ML #小凯