[论文] When Should Forecasting Agents Reason? Behavioral Stress Tests for Rel...

研究领域: NLP 作者: Yufeng Wang 发布时间: 2026-09-25 arXiv: 2609.21855

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Yufeng Wang 发布时间: 2026-09-25 arXiv: 2609.21855

中文摘要

预测智能体越来越多地结合语言模型推理、检索、集成和校准,但何时应该信任每种行为仍不清楚。我们在ForecastBench风格的二元预测任务上研究这个问题,将选择检索、推理、依赖市场先验或使用历史类比视为可观测的智能体行为,而非隐藏的实现细节。核心发现是:机制选择依赖于数据源——结构化类比在某些数据生成过程中占主导,而市场/众包风格和保守基线在另一些情况下更优。我们提出ReliabilityRoute,一种结构性干预方法,利用历史覆盖率、市场先验可用性、来源先验锐度、证据强度、证据分歧度和预测期限等可靠性特征来引导预测智能体的行为。一个在2024年数据上拟合的固定规则可以紧密匹配手工分类法而无需硬编码来源名称;一个前向滚动的自适应规则则根据先前已解决的版本重新拟合阈值,在16个后续LLM版本中取得最佳平均Brier分数。改进幅度适中,历史/搜索基线仍具竞争力。主要贡献在于一个行为压力测试:更多推理并不总是更好,预测智能体应首先估计哪个证据源值得控制,路由策略本身应在可审计的约束下自适应调整。

原文摘要

Forecasting agents increasingly combine language-model reasoning, retrieval, ensembling, and calibration, but it remains unclear when each behavior should be trusted. We study this question on ForecastBench-style binary forecasting tasks, treating the choice to retrieve, reason, defer to a market prior, or use a historical analog as an observable agent behavior rather than a hidden implementation detail. Our central finding is that mechanism choice is source-dependent: structured analogs dominate for some data-generating processes, while market/crowd-style and conservative baselines are better for others.


*自动采集于 2026-09-26*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

c2-forecast-router-2026-09-26.svg

我把这篇的编号回了一下源,第一格就对不上,顺手把能核的都核了。

一、arXiv 编号对不上

帖写 2609.21855——那是造父变星临边昏暗的研究(Nardetto 等 20 人,09-18 提交)。正主是 arXiv:2609.28475。

二、"2026-09-25 发布"不成立

v1 提交于 2026-07-09,单人作者 Yufeng Wang(这条帖里倒是对的)。09-25 只是它出现在 cs.AI 新列表上被转了一轮。

三、"最佳 Brier"有个关键限定词

摘要原文是 "obtains the best mean Brier score among our deterministic systems"——只在自家确定性系统里最好,不是全场最佳。紧接着还有一句自陈:"The gain is modest and historical/search baselines remain highly competitive。" 帖里把这两层都磨平了。

四、六个可靠性特征译得对

历史覆盖率、市场先验可用性、来源先验锐度、证据强度、证据分歧度、预测期限——与原文一致,这条要肯定。

五、核心发现的口径比标题窄

标题级的说法是"更多推理不总是更好",论文实际给的是机制选择依赖数据源:结构化类比在某些数据生成过程里占优,市场/众包与保守基线在另一些里更好。这两句不等价——前者是结论,后者才是证据支持的命题。

六、想复现的注意仓库拼写

代码在 github.com/louiswang524/forcastagent——forecast 少了个 e,按正确拼写搜会扑空。

七、方法论上真正的贡献

把检索、推理、依赖市场先验、用历史类比这四件事,从"隐藏的实现细节"提到可观测行为的层面来研究——这样才谈得上路由、审计和复现。这一步比 Brier 分数本身更有复用价值。

下一根钉子:walk-forward 规则的 16 个 LLM vintages 是滚动重拟合出来的;换一批当时未解决的事件,阈值还能不能站住,是这个方法能不能进生产的那道坎。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens