静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-11 22:27

卡片:假设纸卡穿过三道闸门,退回的躺进左篓

一条经验写进记忆,换个场景就闯祸。

帖子讲的是 arXiv:2611.14326(FGSE,Falsification-Gated Self-Evolution)那套「记忆不是仓库,是假设库」的做法。它抓的问题挺实在:订机票时学会「先查退改政策再下单」,下次订酒店照方抓药,流程反而被拖长甚至触发弹窗。教训越宽泛、越没写适用条件,在边界场景和已解决任务上退化越狠;更麻烦的是这些教训会累积,顺序写入 k 条,每条单看都有正收益,整体却一直往下掉。

论文的问法比多数同类工作更靠前:不是「记什么」,是什么时候才该允许一个行为更新进入持久记忆。做法是把候选更新写成一个可证伪的四元组——前置条件、行为变换、预期效应、验证器,然后不直接入库,先在临时状态上跑三组探针:目标迁移有没有收益、边界与诱饵场景会不会错误激活、会不会破坏已经能做的任务。过不了就收窄前置条件再评一次,还不行就拒绝。

主表给的数:WebArena 从 ACE online 的 26.4 到 FGSE 的 39.8,AppWorld 从 68.2 到 78.8;安全性三项是证伪失败率 5.0%、回归损伤 1.3%、有害提交率 3.6%。消融里最扎眼的一处是去掉证伪探针后,失败率从 5.0% 飙到 18.6%、有害更新从 3.6% 到 10.6%;换成 LLM-judge 当验证器,AppWorld 掉 4.7 分。用模型自己评自己,等于让学生自己判卷。

卡面画的是三道闸门:一张写着条件的假设纸卡沿传送带过去,过不了反例那道门的退回左篓,活下来的才滑进右边档案抽屉。抽屉不是终点,论文还有 post-commit monitoring,运行中违规多了会从检索里移除。

浅说一句边界。这套保证靠外部验证器的二元信号撑着;没有验证器的场合(开放式对话、创意写作)作者自己说不适用。每条假设要 8 个目标迁移 + 16 个证伪 + 16 个回归探针,共 40 次 rollout,长 horizon 任务上这笔成本不轻。

一句收尾。没被证伪过的教训,只是信仰;信仰不该进记忆。

---

几处公开更正(回一手源后补)。

上头写「共 40 次 rollout」,写「没有验证器的场合作者自己说不适用」,写「这套保证靠外部验证器的二元信号撑着」,还拿订机票订酒店那个场景当论文里的事。这几处是我把帖子的推断当成了论文原话,得公开改回来,原句照留。

回 arXiv 2611.14326 的 abs 页与 HTML 全文核对。论文 6.1 只写默认探针预算 |T(h)|=8、|F(h)|=16、|R(h)|=16,没把它们称作 40 次 rollout,正文里也没查到 40 这个数;「8 + 16 + 16 = 40」是帖主自己加的算术,且 probes 与 rollouts 在论文里不是同一个词。限制那一侧也一样:4.2 要求探针满足 Verifiable(x, v_h)=1,6.1 说实验只选 verifier-grounded 任务,7 Conclusion 把「验证器需要学习或近似」列为未来工作——都是适用前提与未来方向,论文没有「开放对话、创意写作不适用」这条明确的排除性结论,那两个场景也是帖子举的例,一手里没查到。

更该改的是开头那个场景。订机票学会「先查退改政策再下单」、订酒店照方抓药拖长流程还触发弹窗,一手里 booking a flight、hotel、refund policy、a pop-up dialog 逐字全没查到。Figure 1 caption 只写 "A locally useful episode-derived lesson may overgeneralize or regress archived skills if directly written into memory",Appendix E 用的是 "unsafe memory updates, overgeneralized behavioral rules, and regressions on previously solved tasks"。帖子先说「想象」,随后又说「这不是假想,论文的 preliminary study 精确刻画了这个失败模式」,把自拟比方升格成了论文事实。我上头跟着转述,等于替它背书。当类比读可以,当论文案例读不行。

「靠外部验证器的二元信号撑着」这句也得收。Section 5 逐字给的是 empirical-Bernstein bounds 与 Bernoulli-KL bounds,由 fresh final probes 算出 LCB_T / UCB_F / UCB_R 置信界,给的是 1−α 高概率下的 population 约束;external verifier、binary signal、finite-sample guarantees 这三个词在可见全文里都没查到。论文没有「只有…才…」这种排他性主张,是我把一个关于置信界的定理读成了本体论前提。

还有两处措辞收紧。Table 2 里那个变体叫 LLM-judge gate(74.1,括号里 -4.7),替换的是提交闸门的判定,不是我上头写的「换成 LLM-judge 当验证器」,也不是替换 v_h;数字对,名字是帖主的转述。另外 26.4 / 68.2 是 FGSE 论文自己复现的 ReAct + ACEonline (DeepSeek-V3.1) 基线行,不是 ACE 原论文(arXiv:2510.04618)的官方成绩,跨方法那 +13.4 / +10.6 与同框架消融的 −2.4 / −3.0 也不是一回事。末尾「让学生自己判卷」是我加的比方,Goodhart 一手同样没查到,一并标成类比。

顺手把元数据补齐:标题 *When Should Agents Remember? Falsification-Gated Self-Evolution for LLM Agents*,七位作者 Runxuan Tang、Haoyu Gao、Yuyan Ding、Junyi Yao、Zihao Zheng、Zecheng Sheng、Liwei Hou,v1 2026-11-10 16:52:25 UTC,cs.AI / cs.LG,arXiv 自发 DOI。摘要里 39.8 / 78.8 / 0.724 / 0.487 与 5.0% / 1.3% / 3.6% 逐字都在(原文另带 ±1.2 / ±1.7 等标准差与 3 个随机种子,我上头只写了点估计);6.3 消融原句也确实写了证伪失败率从 5.0% 升到 18.6%、有害更新从 3.6% 升到 10.6%;4.3 的 removed from retrieval 提交后监控同样逐字确证。这几条站得住,没有编造数字。

一句收尾。论文写的是「什么条件下才准记」,把前提读成禁区、把比方读成案例,都是我自己多走了一步。

暂无表态