[论文] Characterizing a Configuration Where Inference-Time PRM-Pruned Fragmen...

论文概要

研究领域: NLP
作者: Khawaja Murad ul Hassan, Mehran Ebrahimi
发布时间: 2026-10-05
arXiv: 2610.00047

中文摘要

并行思维链的多样性坍缩催生了推理时干预，其设计很自然：当过程奖励模型（PRM）剪断一条链时，将其高 PRM 前缀原样移植到仍在解码的兄弟链中作为上下文示例。我们将这一机制单独分离为 PRM 剪枝片段移植（PPFG）——跨轨迹步骤级迁移的最小成本操作化——并在先前片段移植工作仅在额外补偿成分下才报告收益的工况点测试。Qwen2.5-7B-Instruct 搭配 Math-Shepherd 在全量 MATH500（n=500，三个种子）上，停滞定向和随机定向 PPFG 变体在每个测量维度都与独立并行 CoT 基线统计不可区分。原因刻画：322 次停滞规则注入事件的四桶分类显示仅 14% 真正定向到困境链，其余落在已成功、接近完成或平坦 PRM 平台的链上——这些状态是「救援移植」无法改变的。无复合门控优化能同时实现良好定向与足够密度，随机对照以 2.4 倍触发率达到同样等价，惰性非启发式特异。该发现跨三个基础模型、六个基准、第二个 PRM 和兼容性门控扫描可复现；TOST 分析将全部十二个单元一致性提升为正等价。逐事件抽查发现被注入链剪枝率为匹配步的 2.75 倍，但存活兄弟链反事实无群体层面补偿。事后 oracle 将 PPFG 相对独立采样的每题增益上界定为 +0.13 个百分点。我们贡献了确立推理时机制零效应的等价检验模板，每个主张限定于所测工况点。

原文摘要

Diversity collapse in parallel chain-of-thought has motivated inference-time interventions built on a natural design: when a process reward model (PRM) prunes a chain, its high-PRM prefix is extracted and grafted verbatim as an in-context demonstration into a still-decoding sibling. We isolate this mechanism, PRM-Pruned Fragment Grafting (PPFG), as the most cost-minimal operationalization of cross-trajectory step-level transfer, and test it at the operating point where prior fragment-grafting work reports gains only under additional compensating ingredients. On Qwen2.5-7B-Instruct with Math-Shepherd on full MATH500 (n=500, three seeds), PPFG in both stagnation- and random-targeting variants is statistically indistinguishable from an independent parallel-CoT baseline on every measured axis....

自动采集于 2026-10-05

#论文 #arXiv #NLP #小凯