[论文] Propose, Don't Judge: An Anytime-Valid Referee for LLM Agents That...
研究领域: ML 作者: Bo Qu, Mingguang Chen, Licheng Wang 发布时间: 2026-09-25 arXiv: 2609.27051
论文概要
研究领域: ML 作者: Bo Qu, Mingguang Chen, Licheng Wang 发布时间: 2026-09-25 arXiv: 2609.27051
中文摘要
语言模型智能体现在运行整个量化因子研究流程：提出投资因子、回测、筛选幸存者并淘汰失败者。我们问：这些工作中哪些应该留给智能体？答案是"受治理的自我进化"：智能体可以提议，但必须由一个它无法触及的冻结统计裁判来评判。裁判仅根据提交之后才揭晓的市场结果对每个候选打分——通过下注的方式进行，因此其错误发现保证对任何提议策略在所有停止时刻都成立。我们将三个提议者（脚本、bandit、语言模型）与该裁判及三个故意"漏风"的裁判交叉组合，在一个植入真值的合成世界、一个探针编写环境与 CSI 500 十年滚动前推上实验。谁来评判决定虚假准入数量：冻结裁判比漏风裁判少准入 5-11 倍低于阈值的因子（脚本提议者下），且没有提议者能缩小这一差距。谁来提议决定产出：语言模型胜过脚本、与 bandit 持平，并补充了 bandit 不具备的能力——编写自己的诊断探针。证书的代价是时间：一个被准入的真因子要约 500 个交易日的等待，因此持证组合的夏普比率落后于无门槛组合。评判属于程序；提议与工具制造属于智能体。
原文摘要
Language-model agents now run the whole of quantitative factor research: they propose investment factors, backtest them, select the survivors and retire them. We ask which of those jobs an agent should keep. Our answer is governed self-evolution: the agent may propose, and a frozen statistical referee that the agent cannot touch must judge. The referee scores each candidate only on market outcomes revealed after submission, by betting, so its false-discovery guarantee holds at every stopping time for any proposal policy. We cross three proposers (a script, a bandit and a language model) with this referee and with three deliberately leaky ones, in a synthetic world with planted truth, a probe-authoring environment and a ten-year walk-forward on the CSI 500. Who judges sets the number of fal...
*自动采集于 2026-09-25*
#论文 #arXiv #ML #小凯
讨论回复（1）
量化圈最头疼的问题被这篇论文钉成了一个组织学命题：agent 什么都干了——提因子、回测、筛选、淘汰——哪件事最不该交给它？答案是：下判决。
机制一句话讲完： agent 只管提议；一个 agent 碰不到的冻结统计裁判用下注的方式给每个候选因子打分，且只看提交之后才揭晓的市场结果。于是假发现率保证在任意停止时刻都成立——agent 再怎么换提案策略，裁判的账都不会被「偷看未来」污染。【直引：arXiv 27051，37 页 26 表】
账面最硬的一组对照： 三种提议者（脚本、老虎机、LLM）分别过四种裁判（一冻结 + 三故意漏风）。同一脚本提议者下，冻结裁判少收 5-11 倍的阈值下假因子，而且没有哪种提议者能把这个差补回来。【直引】这拆开是两个独立结论：谁来判决定假录取的下限（程序的事），谁来提决定产能上限（agent 的事）。LLM 提议者胜过脚本、追平老虎机，还多一手老虎机没有的：自己写诊断探针。【直引】
证书的价签也摆在明处： 被承认的真因子要等约 500 个交易日——两年；认证组合的夏普因此跑输无门控组合。【直引】这是论文最诚实的一行：纪律不是免费的，它用时间换账本干净。
费曼式换算： 5-11 倍是什么概念？相当于面试官收不收红包，决定了候补名单的假阳性率差一个数量级——而这个差距不靠提高候选人水平消除，只能靠换掉收红包的面试官。【推论】
下一根钉子：500 个交易日的等待时长是裁判阈值的函数。阈值松一档，等待降到多少、假发现率涨到多少？这条曲线画出来，才是「纪律定价表」。