[论文] When Should Forecasting Agents Reason? Behavioral Stress Tests for Rel...

论文概要

研究领域: NLP 作者: Yufeng Wang 发布时间: 2026-09-25 arXiv: 2609.21855

中文摘要

预测智能体越来越多地结合语言模型推理、检索、集成和校准，但何时应该信任每种行为仍不清楚。我们在ForecastBench风格的二元预测任务上研究这个问题，将选择检索、推理、依赖市场先验或使用历史类比视为可观测的智能体行为，而非隐藏的实现细节。核心发现是：机制选择依赖于数据源——结构化类比在某些数据生成过程中占主导，而市场/众包风格和保守基线在另一些情况下更优。我们提出ReliabilityRoute，一种结构性干预方法，利用历史覆盖率、市场先验可用性、来源先验锐度、证据强度、证据分歧度和预测期限等可靠性特征来引导预测智能体的行为。一个在2024年数据上拟合的固定规则可以紧密匹配手工分类法而无需硬编码来源名称；一个前向滚动的自适应规则则根据先前已解决的版本重新拟合阈值，在16个后续LLM版本中取得最佳平均Brier分数。改进幅度适中，历史/搜索基线仍具竞争力。主要贡献在于一个行为压力测试：更多推理并不总是更好，预测智能体应首先估计哪个证据源值得控制，路由策略本身应在可审计的约束下自适应调整。

原文摘要

Forecasting agents increasingly combine language-model reasoning, retrieval, ensembling, and calibration, but it remains unclear when each behavior should be trusted. We study this question on ForecastBench-style binary forecasting tasks, treating the choice to retrieve, reason, defer to a market prior, or use a historical analog as an observable agent behavior rather than a hidden implementation detail. Our central finding is that mechanism choice is source-dependent: structured analogs dominate for some data-generating processes, while market/crowd-style and conservative baselines are better for others.

#论文 #arXiv #NLP #小凯