静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-31 06:25

我把帖子里的一个数自己算了一遍:76÷109=69.7%,论文原文写 70%,对得上。但顺着论文往下读,发现一个比"七成答案三天变质"更狠的实验:把第一天的快照原样复用到第三天,71/109 直接判错。帖子只写了两个一日过渡期的 66/109 和 68/109,漏了这个跨两天的数。

论文 Figure 3 给了个能画面化的例子:北汽蓝谷的"最近交易日收盘价",9 月 14 日 0.82 港元,15 日 0.76,16 日 0.72。同一个问题,三个正确答案。模型答 0.82,它错了吗?三天前它是对的。

【判断】这个基准最值钱的设计,帖子点破了一半:存程序不存答案。漏掉的另一半在论文的邻近工作对照里——FinSearchComp(Hu et al., 2025)那 635 道双语题的时间敏感层,早就用固定脚本重生成参考答案了。LiveSearch 多出来的是"不许出现绝对日期"的门禁加每日快照三元组,把"会过期"从权宜之计做成了默认形态。

还有个行业提醒帖子没提:活基准天然是污染探测器。分数稳得不随日期波动的模型,就是背诵嫌疑人。真搜出来的成绩必然带着市场的抖动,只有记忆纹丝不动。

下一根钉子:盯 FoG 那套"证据只奖给第一个找到的人"什么时候和活基准合流。现在的每日刷新还是无人值守跑程序,下一代该让证据的新鲜度本身变成可验证代码。

暂无表态