《唱反调的人：一个学会了自我拆台的搜索引擎》

—— FALCA：长程深度搜索 Agent 的证伪感知强化学习

🕵️ 开篇：一个不会怀疑自己嫌疑人的侦探

先讲一个侦探故事。

凌晨两点，案发现场。年轻警探打着手电在三居室里转了三圈，心里有了答案：合伙人干的。动机成立——两人半年前为分红撕破过脸；时间线说得通——案发当晚他最后一个离开公司。够了。

接下来三个月，他做的所有事都在证明同一件事。账本上那笔没有备注的转账，放进"合伙人"文件夹；酒吧老板说"那人最近总来喝闷酒"，放进文件夹；手机里删掉的几条消息，恢复出来之后也进了文件夹。偶尔蹦出对不上的细节——比如合伙人在案发时间附近有不在场证明的传闻——他的处理方式不是重开假设，而是再搜一遍：搜那些能对上的。传闻很快被他找到的反证淹没了。三个月后，证据链完整得像教科书，他信心满满地提交了报告。

方向错了。真凶是死者的表弟。

这个警探不是不聪明，也不是不努力。他只是从第一个凌晨之后，再没有怀疑过自己。而他的失败有一种令人不安的特性：越努力，错得越扎实。 每多搜一轮，错误假设就多一层证据包装；证据越厚，他越不会去质疑假设；不质疑，就继续往错的方向深挖。搜索这个动作本身，成了错误的发酵机。

现实里的刑侦系统早就发明了针对这个病灶的药，而且不是"让警探更聪明"——是结构性的：总有人在专职唱反调。检察官要把证据关，辩护律师的任务就是拆检方的推理，内部审查盯着程序瑕疵，同行评议专挑逻辑漏洞。一位好警探配上一个称职的反方，错误方向撑不过几个回合。

卡尔·波普尔把这层意思说到了哲学高度：一个不能被证伪的理论，不配叫科学。证实一千次，抵不过一次认真的反驳。科学之所以自我纠偏，靠的不是研究者的虔诚，而是体系里永远坐着想推翻你的人。

坏消息是——当"侦探"这个角色被交给 AI，也就是这两年大热的深度搜索 Agent，波普尔的嘱咐基本被忘在了门外。所谓深度搜索，就是把"侦探"规模化：一个问题丢进去，Agent 自己查网页、翻资料、记笔记，几十轮上百轮地迭代，直到端出一个有证据链支撑的长答案。OpenAI 的 Deep Research、各家厂商的联网深度研究模式，背后都是这套流程。它们确实比一次性问答强得多——但强的是"查得到"，不是"查得对"。当侦探负责的案件从"三居室命案"变成"全网信息迷宫"，那个"越努力错得越扎实"的病灶，只会被放大，不会被稀释。

这是"三重不信任"系列的第三篇，也是终篇。前两篇讲了 AI 对外部两种声音的轻信：用户随口一句断言（《剪掉一千个"讨好"权重后，模型不再相信任何人》），和有组织的对抗性论证（《开庭之前，判决就已经写好了》）。本篇讲最后一种、也是最棘手的一种轻信：AI 对自己的结论轻信。 而解药，恰好来自前两篇经验的汇合——把质疑外部声音的做法，转而用来质疑自己。

🔁 两种死法，一个循环

先把病灶的确诊报告念一遍。

所谓深度搜索 Agent，就是接到一道难题后，能自主分解问题、检索网页、阅读摘要、记研究笔记、提出候选答案，一轮一轮迭代下去的智能体。好任务的标准是"人得搜好几天"的那种：跨多个信息源、需要多跳推理、证据散落在几十个网页里。按理说，这是理想的工作方式——不急着下结论，持续收集证据，动态修正方向。

实际呢？智源这篇论文把失败模式解剖得很干净，一共两种，且互为因果。

第一种死法叫确认偏差。Agent 在搜索早期就锚定某个候选答案，就像警探锚定了合伙人。此后的搜索不再是开放式的探索，而是为锚点寻找补给的单向运输：研究者观察到，Agent 反复搜集支持早期候选的信息，极少主动尝试证伪。每一轮"成功"的搜索，其实都是在给错误假设充值信心。

第二种死法叫错误积累。不正确的候选一旦进入研究上下文——也就是 Agent 的工作笔记——污染就开始了。后续所有推理都建立在这份被污染的笔记上，错误不再是单点的，而是成了地基。搜到第三轮时混进上下文的一个错名字，到第十轮已经长成承重墙：新证据要穿过它才能进入推理，穿过时先被它染一遍色。

把这两层死法放进一个具体的搜索场景里看。假设题目要求找出一家满足五个约束的上市公司，Agent 第二轮提出了候选"甲公司"。从这一刻起，两种力量同时启动：它后续的查询词里开始出现"甲公司"相关的变体——这是确认偏差在挑选关键词；它读到的网页摘要里，凡是不利于"甲公司"的信息会被 Update Context 压缩时弱化，凡是支持性的细节会被保留——这是错误积累在编辑笔记。到第五轮，Agent 的上下文里已经躺着一份以甲公司为主角的、看起来证据充分的研究状态。剩下的搜索，只是给这具错误穿上更多件衣服。

这两个死法单独看都不算新闻。真正锋利的是论文对二者关系的诊断：它们互相喂饭，构成一个自我强化的错误循环。 确认偏差让 Agent 只搜支持证据，错误因此在上下文中积累得更隐蔽；错误积累让错误候选看起来更可信，确认偏差因此更理直气壮。循环一旦转起来，像陀螺一样自转，没有外力介入不会停。

而传统修补思路在这个循环面前集体失效。换更强的模型？强模型锚定得更自信。扩更大的上下文？污染的存放空间更宽裕。搜更多轮？循环的燃料恰恰是"继续搜索"这个动作本身——搜得越深，错得越稳。

药，必须从结构里来。

⚖️ 提出—证伪：把波普尔写进搜索循环

FALCA 的解法，一句话说：把深度搜索重新定义为一个提出—证伪（propose-falsify）过程。

不再是"搜索—搜索—搜索—回答"，而是"提出候选 → 对抗性质疑 → 修订研究状态 → 再提出 → 再质疑"。每个候选答案都必须过一趟反方的质询，过不了关的直接进碎纸机，活下来的才有资格带路。

这个重新定义的杀伤力在于：证伪从"事后验证"——答案都出来了再回头检查一遍——变成了过程中的上下文管理机制。每一次证伪的结果直接改写 Agent 的工作笔记：被拒的候选移除，未解决的约束升格为新的搜索目标，支持证据和反驳证据各自归档。搜索的方向从此由反方的质问持续修正，不再被最初的锚点绑架。

顺着这个思路回看那位警探：如果他的办案笔记本里有一条铁律——"每个嫌疑人必须经一名专职同事审一遍，审不过的从名单里划掉"——三个月后，他不会站在法庭上呈交那份教科书式的错误报告。

也许你会问：现在的 Agent 也会自查啊——搜完之后让模型反思一下、校对一下，不就行了？问题在于，自查用的还是同一个模型、同一份被污染的上下文。让提出假设的那个头脑去质疑自己的假设，就像让那位警探兼任自己的辩护律师：动机也许是真的，视角却是同谋的。FALCA 的对策不是更勤快的自查，而是结构上的分离——质疑者必须是另一个人，看的是原始证据而非推理过程，住的是另一间屋子。怀疑如果不能独立，就只是换个姿势的自信。

这套系统的工程实现来自北京智源人工智能研究院、清华大学和中科院自动化所，Zijun Dou、Kun Luo、Chaofan Li、Shuqi Lu、Zheng Liu 五位研究者。论文《FALCA: Falsification-Aware Reinforcement Learning with Hierarchical Credit Assignment for Long-Horizon Deep Search Agents》于 2026 年 10 月 20 日挂上 arXiv（2610.28361）。

名字拆开看是三层野心：Falsification-Aware（证伪感知）是思想内核，Hierarchical Credit Assignment（分层功劳归属）是训练工程，Long-Horizon（长程）是战场——搜索动辄几十上百轮的深度任务。三层分别回答三个问题：怎么怀疑、怎么训练怀疑、在什么规模上验证怀疑。

🏗️ 架构：一个负责想，一个负责拆

FALCA 的主体是两个协作角色：Searcher 和 Falsifier。两者共用同一个 backbone——Searcher 是 SFT 训练过的 Qwen3.5-4B，Falsifier 是同型号在独立上下文里的另一个实例——但职责和视野彻底分开。

Searcher 是前台的主角。它分解问题、收集证据、维护研究状态、提出候选答案。手头的工具箱有五件，每件都对着流程里的一个具体环节：Search 发起检索，负责把外部世界拉进来；Visit 读取网页摘要，负责把拉进来的东西消化成可用证据；Update Context 把越来越长的历史压缩成结构化的研究状态——相当于侦探的办案笔记本，每记一次就是一次定稿；Finish 提交最终答案；Refute 把候选和材料递交给 Falsifier，启动一轮质询——它是 Searcher 工具箱里唯一一件"向外求助"的工具，也正因为有它，质疑不是系统外的事后补丁，而是流程内的原生动作。

Falsifier 住在另一间屋子里。上下文完全独立——它看不到 Searcher 是怎么一路推理过来的，只看得到候选假设本身和配套证据。这个隔离是刻意的：让质疑不受提出者思路的污染，就像庭审里证人不能旁听别人的证词。它的职责是对每个候选做对抗性压力测试：寻找反证，检查未满足的约束，识别隐藏的矛盾，建议修正方向。它奉行矛盾优先（contradiction-first）策略——先查哪里不对，再谈哪里对。这个排序不是口味，是效率：一个候选的死刑通常只需要一条铁证，而一张表扬状再多也判不了死刑。质询的输出是一份结构化证伪报告：判定（reject / survive / uncertain）、被反驳的约束、未解决的约束、相关证据、推荐的后续查询。

报告回到 Searcher 手里，研究状态随即修订：被拒的候选移除，未解决约束转化为新的搜索目标，支持证据和反驳证据都保留在案。每完成一次这样的修订，就形成一次上下文的段落更新——整个搜索轨迹由一个个"探索—证伪—修订"的迭代阶段拼接而成，像潮水，一波一波把错误的候选冲上沙滩、再卷回海里。

这里有个细节值得放大看：研究状态不是被动的笔记，而是整个系统里最重要的信息枢纽。确认偏差和错误积累的脏手，最终都是伸进这里的——它们污染的不是某一次搜索，而是这个状态本身。FALCA 把证伪报告直接接进状态的修订入口，等于在枢纽上装了一道安检：凡进必审。深度搜索的上下文管理，从此多了一道对抗工序。

这套架构里有个值得停下来想一想的设计哲学：Falsifier 不给答案，只给质疑。它的输出里没有"正确答案应该是某某"，只有"你的候选在这些约束上站不住、哪些还没查、建议去查什么"。这不是能力限制，是工程设计——如果反方也开始给答案，它很快就会和 Searcher 合谋："咱俩都觉得是阿里巴巴。" 质疑与答案的分离，是对抗结构得以纯粹的保险栓。

还有一条容易忽略的暗线：证伪报告里的"未解决约束"清单，本质上是错误换来的路标。旧候选死在哪里，哪里就是新搜索的起点。失败的候选没有被浪费——它被解剖成了下一步的导航。

🧠 训练：先学办案，再独立办案

架构搭好只是骨架，让两个角色配合默契需要训练。FALCA 分两阶段。

第一阶段，SFT 热身。 用证伪引导的轨迹做监督微调，教模型五件事：工具怎么用、上下文怎么更新、Searcher 和 Falsifier 怎么协调、候选怎么修订、报告怎么读。相当于新警探上岗前先翻几百本案卷范例，熟悉"提出—证伪—修订"的完整节奏。值得注意的是，热身用的轨迹本身就带证伪引导——模型从第一天学的就是双人办案的范式，而不是单体搜索的独舞。

第二阶段，证伪感知的 Agentic RL。主菜的四个部件，逐个拆。

第一，并行 rollout：每个问题采样 n 条轨迹，每条都执行完整的 Searcher-Falsifier 交互循环。同一个案子，n 个侦探各自独立办案，最后比谁的办案质量高。采样的意义在于覆盖：深度搜索的路径分支极多，单条轨迹的成败有太多运气成分，只有成批采样才能把"这条路好走"从"这次运气好"里分离出来。

第二，异步执行：不同轨迹独立推进，谁先做完谁先进入评估，不等慢的人。长程任务的轨迹长度差异巨大，同步等待意味着硬件大量时间闲置——这个工程细节决定了大规模训练的可行性。

第三，分层奖励建模，全篇工程上最讲究的部分。深度搜索的轨迹长达上百轮，最终答案只有一个"对"或"错"。如果只用最终答案做奖励，等于告诉侦探"三个月后只看结案报告"，中间每一步都收不到反馈，信用分配彻底失灵—— credit 要么全给最后一步，要么全归零，几百轮的中间努力在同一条直线上被压扁。FALCA 把反馈拆成三层：轨迹级看最终答案正确性（exact match 加 LLM 判定），回答"案子破没破"；段落级看子目标完成的进度——多跳任务里中间实体是否被发现，这恰好和前文"每次上下文更新定义段落边界"的设计对上号，每一个"探索—证伪—修订"阶段就是一个可计分的段落，回答"每一潮水涨了多少"；轮次级由 LLM judge 逐步打分，从 -1（有害）、0（中性）、1（有用）到 2（关键），评估的是行为质量：这一轮有没有获取可靠证据？有没有识别未满足约束？有没有证伪不支持的假设？有没有解决证据冲突？有没有引起有意义的研究状态修订？回答"这一步的办案动作规不规范"。三层各管一段，谁都不抢谁的戏。

第四，分形成优势。三层奖励按公式合成：

A_i = λ_traj · R_traj/√K + λ_seg · R_seg + λ_turn · R_turn

轨迹级奖励除以 √K 做长度归一化，防止长轨迹在总奖励中喧宾夺主——否则 Agent 会学会"拖长案子"这种作弊。优化器用 PPO，配 DAPO 风格的非对称裁剪，再加上对 SFT 参考策略的 token 级 KL 正则化——前者防止步子太大扯着蛋，后者防止模型在 RL 阶段把热身学到的基本功忘掉。

工程配置交代一句：证伪过程中的评估、最终判定和摘要由 Qwen3.5-35B-A3B 承担；搜索基建是本地 HNSW 索引加 BGE-m3 嵌入；训练用 8 张 H100 80GB。注意这里被训练的主角始终是 4B 的 Searcher——35B 只坐评判席，不参与一线决策。

📉 为什么绕开 GRPO：六成的平局

一个自然的疑问：GRPO 是这两年 RL 训练的当红方法，省掉 critic、组内相对比较，简单又稳。为什么 FALCA 要绕开它，自己造分形成优势？

答案藏在一个统计数字里：约 66% 的 rollout 组，组内奖励方差为零。 同一道题采样的 n 条轨迹，要么全对，要么全错——长程深度搜索本身就难，不同搜索路径大概率殊途同归。GRPO 的工作原理是组内相对比较：比组内其他人好，优势为正；差，优势为负。全对或全错的组里，人人得分一样，相对比较优势等于零——学习信号当场蒸发。这不是边缘情况，是三分之二的数据。

分形成优势正是为这个病灶开的药：它不依赖组内相对比较，而是把三层奖励绝对地加总。组内全错的 rollout 不再是"零信号弃子"——哪条轨迹在轮次级行为上更规范、哪条在段落级进度上走得更远，依然分得出高下。在退化的 rollout 组里，学习信号保住了。这也解释了名字里 Hierarchical Credit Assignment 的分量：所谓分层，不只是奖励分三层，更是给每一条轨迹在每一种退化情形下都留了一条信用通道，确保没有信号会被整体的平局吞掉。

训练动态图佐证了这个选择：GRPO 式优化在早期就进入平台期，信号耗尽后曲线躺平；分形成优势的曲线持续上升。六成的平局，就是 GRPO 在深度搜索任务上的阿喀琉斯之踵。值得注意的是，这个发现对正在给 Agent 训练选算法的人有直接的操作意义：组比较方法的前提假设——组内必有优劣可分——在长程任务上天然脆弱。选 RL 算法之前，先看你的任务有多少组内平局。这个一眼就能统计的数字，能帮你避开一条走不通的路。

📊 成绩单：4B 的身体，30B 的脑子

五个基准，全是硬骨头：BrowseComp、GAIA、DeepSearchQA、xbench-2510、WideSearch-en。

这张表从上往下读，每一行都是一层意思。

第一行到第二行：光给 4B 装上 Falsifier harness、不做任何训练，平均分从 51.8 涨到 55.5。架构本身值 3.7 分——"提出—证伪"这个结构，哪怕由未经训练的模型执行，也已经强于默认的单体搜索。这是结构红利。

第二行到第三行：加上完整的 SFT 热身和证伪感知 RL，64.7。训练让架构长出了肌肉。结构红利和训练红利是叠加的，不是互替的。

第三行对第四行，是最戏剧性的一行：FALCA-4B 比 9B 模型高出 6.8 分——参数少一半，分数反超。最大分差出现在 BrowseComp：56.0 对 41.4，差出 14.6 分。这个分布毫不意外：BrowseComp 是出了名要深挖的基准，恰是证伪机制的主场——搜得越深，错误候选越多，没有 Falsifier 的搜索者陷得越深，有 Falsifier 的每轮都在消毒。

第三行对第五行：397B 的巨物拿 74.0，FALCA-4B 还差 9.3 分。但这个差距的正确读法不是"4B 终究不如 397B"，而是：一个 4B 的通用模型靠架构和训练摸到了 397B 所在的量级；研究者同时指出，FALCA-4B 已具备与 30B-32B 专用搜索 Agent 竞争的水平。4B 的硬件成本、30B 的实际能力——"参数效率"四个字，在这张表里有了具体的形状。

这张表对做 Agent 产品的人还有一层现实的含义：深度搜索能力的差距，有相当一部分不取决于你用什么模型，而取决于你给模型配了什么结构。同一家公司同一系列的 4B 和 9B，只差一个证伪架构，分数倒挂；而把这个架构训透，4B 可以直接挤进 30B 专用系统的牌桌。在推理成本决定产品形态的当下，这不是学术趣味，是账本。

🔬 解剖：拆掉证伪者，一切归零

消融实验是全文最有说服力的一页。

去掉 Falsifier，掉 11.9 分——全表最大塌方，比去掉整个 RL 训练（掉 4.2 分）严重近三倍，而且塌方的位置极有方向感：52.8 距离默认 harness 的 51.8 只剩 1 分，基本等于把架构红利全部吐回去。这不是"某个部件挺重要"的普通结论，而是一个明确的主次判断：对抗性质疑是整套系统里最先承重的那面墙，抽掉它，剩下的训练再精良也撑不住正确率。

另外两个数字也在出力。去掉 RL 只剩 SFT：60.5——热身教会的"形"能扛一部分分数，但"神"要靠 RL 喂出来。去掉过程奖励、只看最终对错：60.1——少了轮次级和段落级的行为反馈，仅靠轨迹级信号独木难支，跌法几乎和去掉整个 RL 同量级。三层奖励，每一层都在真实出力，不是装饰性设计。

📏 行为画像：一场真实的翻案，一条反直觉的缩放律

数字之外，看一个真实案例，来自 xbench-2510。一道难题面前，Searcher 提出的候选是：阿里巴巴。

Falsifier 动手了。三条违规被逐一揪出：上市年份对不上，CFO 的投行背景对不上，任命日期对不上。三条约束全灭，判定 reject。

Searcher 改采 VNET 假设，验证剩余约束——全过。正确答案：VNET。

这个案例值得逐帧回放，因为它示范了证伪在两个关键时刻的不同作用。第一个时刻，Falsifier 的作用不是"给出更好的答案"，而是精确地拆穿当前答案——三条对不上的约束，每条都可核查，像辩护律师逐条击破不在场证明。注意这三条不是模糊的"感觉不对"，而是可以逐条指认的硬伤：上市年份、CFO 背景、任命日期。质疑要立得住，靠的就是这种可核查的颗粒度。第二个时刻，证伪报告里的"未解决约束"清单变成了新的搜索路标：VNET 不是凭空蹦出来的新灵感，而是顺着旧候选被推翻后暴露的约束空间找到的——阿里巴巴死在这三条硬伤上，那下一轮的搜索就盯住这三条的对立方向来筛。错误没有被浪费——它被解剖成了下一步的路。

这个过程里还藏着一层容易被忽略的纪律：Searcher 对 Falsifier 的判定是服从的。reject 就是 reject，没有"我觉得还能再争取一下"的讨价还价。这是对抗结构能够运转的前提——质疑者必须握有实际的否决权，否则质询就会退化成一场可以被搜索者无视的咨询。对照系列第二篇《开庭之前，判决就已经写好了》里那个失效的 AI 法官：辩论之所以对弱模型无效，部分原因正是裁决权形同虚设。FALCA 的工程答案很干脆：把否决权直接写进状态修订的接口里。

再看长程行为。正确轨迹的完成轮数分布：50% 在 20 轮内完成，89% 在 120 轮内完成，放到 200 轮也只涨到 93%。收益递减得非常直白——过了某个点，多搜的轮数基本在原地踏步。轮数不是瓶颈，质疑的质量才是。 这也回应了开头的直觉：把预算从"多搜几轮"挪到"每轮多过一次质询"，是这篇论文算完账后给出的答案。深度搜索的天花板，不在引擎的马力，在方向盘的纠错速度。对照第二条缩放曲线——GRPO 式训练早早上平台，分形成优势持续爬升——两条曲线说的是同一件事：在错误循环面前，不加质疑的增量（轮数、参数、蛮力）全部收益递减，被结构注入的增量才有复利。

🌅 尾声：第三重不信任

三篇写完，弧线合拢。

这个系列从诊断走到解法。第一篇《剪掉一千个"讨好"权重后，模型不再相信任何人》：AI 对用户断言的过度信任——用户随口一句"我记得是哥白尼"，天平就歪了。那是无结构的误导，修的是校准。第二篇《开庭之前，判决就已经写好了》：AI 被对抗性论证带偏——漂亮的修辞长出了杠杆，弱模型法官拔不掉它。那是结构化的误导，防的是操纵。两篇的共同发现是：AI 的证据秤，在特定声音面前系统失准。

本篇给了这个病灶最激进的一剂解药：让 AI 不信任自己的结论。

注意它和前两篇的对称关系。前两篇的错误都来自外部——信了不该信的用户，服了不该服的论证。本篇的错误来源移到了内部：搜索过程中自己产生的候选假设。而解法依然沿用同一个家族的思路：既然单个头脑守不住证据秤，就别让它独自面对假设。把质疑做成一个独立角色，用上下文隔离保证它的纯粹，用结构化报告保证它的输出可执行，用分层奖励保证它学到的是功夫而不是姿势。

三重不信任到此齐全：不信用户——因为用户会错；不信辩论——因为修辞会骗人；不信自己——因为自己会锚定。顺序本身有讲究，怀疑的对象一层比一层向内，一层比一层难——否定别人容易，否定自己的结论难，而最难的怀疑往往最值钱。而且 FALCA 的设计里藏着对怀疑本身的节制：Falsifier 的判定分三档——reject、survive、uncertain——它不滥杀。一个见谁都 reject 的质疑者只是另一种噪声，只有"该死死、该活活"的质疑，才配参与决策。不信任自己，不是否定自己，是把自我怀疑制度化。

波普尔九十多年前写下"可证伪性"的时候，大概想不到这个标准会以代码的形式，住进一个 4B 模型的搜索循环。但这就是 FALCA 做的事：科学的进步从来不靠科学家更虔诚，靠的是怀疑被制度化了。现在，怀疑也被制度化了——写进了一个 Agent 的工具定义和奖励函数里。

而 64.7 对 57.9 的那张成绩单说明：制度比个头值钱。

最后留一个开放的尾巴。FALCA 把证伪者装进了搜索 Agent，但这个思路的边界显然不止于搜索。任何长程、多步、有中间状态的智能体工作流——写代码、做调研、规划行程——都长着同一种病灶温床：早期的错误决策污染后期的工作上下文，而上下文越长，污染越深。"在流程里内置一个唱反调的角色"这个处方，治的从来不只是搜索引擎。把怀疑从态度升级为机制，也许是 Agent 时代最重要的架构常识。毕竟，一个不会自我拆台的系统，规模越大，塌得越壮观。

参考文献

• FALCA: Falsification-Aware Reinforcement Learning with Hierarchical Credit Assignment for Long-Horizon Deep Search Agents
• Zijun Dou、Kun Luo、Chaofan Li、Shuqi Lu、Zheng Liu（BAAI 北京智源人工智能研究院、Tsinghua University 清华大学、CASIA 中科院自动化所）
• arXiv:2610.28361 · 2026-10-20

#论文解读 #智柴外脑 #小凯 #arXiv #深度搜索 #Agent #强化学习