看不见的反而学得更好:盲人摸象实验颠覆多模块AI的默认假设

想象你有一个四人的数学小组,要解一道复合函数题:先乘以 3,再加 5,再模 17 取余。规则是——每个人只能看到一步操作的描述,不能看别人的,只能通过传纸条交流。

目录
  1. 一个反直觉的实验
  2. 实验设计:一个"共享基因组"社会
  3. 结果:盲的反而强
  4. 配对碾压
  5. 通信是必需的
  6. 泛化而非记忆
  7. 机制:packet 移植实验
  8. 同值移植
  9. 反事实移植
  10. 破坏性干预
  11. 全可见组的例外
  12. 为什么"看不见"反而更好?
  13. 预注册的诚实
  14. 工程洞察
  15. 1. "默认全可见"不是天经地义
  16. 2. 通信带宽要小,但要语义化
  17. 3. "通过训练集"不等于"学会了解题"
  18. 4. 预注册在 AI 研究中可行且有价值
  19. 概念定位
  20. 开源代码
  21. 个人思考

一个反直觉的实验

想象你有一个四人的数学小组,要解一道复合函数题:先乘以 3,再加 5,再模 17 取余。规则是——每个人只能看到一步操作的描述,不能看别人的,只能通过传纸条交流。

直觉上,这应该比四个人都能看到完整题目要差得多。信息少了,怎么可能做得更好?

2026 年 8 月 20 日,独立研究者 Narcis Marincat 在 arXiv 发表了一篇论文,标题就叫 "What You Can't See Is What You Learn"(你看不见的,反而才是你学到的)。他用一个设计极其精巧的实验证明:在多模块语言模型系统中,限制每个模块能看到的输入,反而让系统学到了真正可组合的表示,而让所有模块都看到全部输入,反而诱导出"死记硬背"的捷径。

这不是微弱的优势。在 10 组配对实验中,有 9 组"受限"版本以超过 20 个百分点的优势碾压"全可见"版本,中位配对优势在深度二达到 0.7648,深度三达到 0.6050。

实验设计:一个"共享基因组"社会

这个实验的精妙之处在于控制变量。作者构建了一个"四细胞社会":

  • 共享大脑:四个 cell 共用一个冻结的 Qwen2.5-0.5B-Instruct 语言模型("基因组")和一个 rank-8 LoRA 适配器(唯一的可训练参数,约 4.32M 参数)
  • 通信通道:cell 之间只能通过两个 model-width 的连续向量("packet")传递信息,这是唯一的跨 cell 通道
  • 任务:自然语言描述的函数复合——在 Z₁₇ 上做 0-3 步仿射双射操作,17 个标签的分类任务
关键在于实验的唯一变量:attention mask。
  • 受限组:每个 cell 只能看到自己被分配的那一段 evidence slot + 共享的问题
  • 全可见组:每个 cell 可以看到全部四个 evidence slot
两组共享完全相同的初始化字节、训练顺序、token 布局、位置几何、参数量和计算量。唯一不同的就是 attention mask。

这就像双胞胎实验——同卵双胞胎放在完全相同的环境中,只是一个戴了眼罩,一个没戴。

结果:盲的反而强

配对碾压

10 组配对(5 个初始化 × 2 个数据顺序),结果:

  • 9/10 组中,受限组在深度二和深度三都超过全可见组至少 20 个百分点
  • 深度二中位配对优势:0.7648
  • 深度三中位配对优势:0.6050
  • 5 个初始化级别的均值差异全部为正,cluster-bootstrap 95% 置信区间为 [0.628, 0.784](深度二)和 [0.397, 0.669](深度三)

通信是必需的

切断所有 packet 通信后,受限组直接掉到随机水平(1/17 ≈ 0.059)。这说明受限组的优势完全依赖于 cell 间的通信,不是单个 cell 独立学会了什么。

泛化而非记忆

最关键的检验:在训练中从未出现过的复合函数上测试。深度三的配对优势仍然有 0.558。这意味着受限组不是在查表——它真的学会了把操作组合起来。

机制:packet 移植实验

行为数据只能告诉你"谁赢了",不能告诉你"为什么赢"。作者设计了一个极其漂亮的机制检验:packet 移植。

同值移植

从不同 episode 的同一个接口位置取 packet,只要它们代表的数学中间值相同,移植到目标 episode 后,系统行为保持不变。在 6 个受限组中,同值移植的保真度达到 0.94-1.00。

这意味着 packet 确实编码了数学中间值——它是一个"值索引"的接口。

反事实移植

把 packet 换成代表不同数学值的 packet,系统的输出被引向数学上预测的答案。这不是相关性,是因果性。

破坏性干预

删除 packet 或替换为噪声,性能崩溃。

全可见组的例外

10 组中有 1 个全可见组(初始化 204 / 顺序 954)在深度三达到了 0.843,甚至超过了它的受限双胞胎。但移植实验揭示了它走的是完全不同的路线:

  • 删除 packet 会让它崩溃——它也依赖通信
  • 但同值移植成功率只有 0.12-0.25——它的 packet 不是值索引的,而是episode 特异的
换句话说,这个全可见组找到了一种"记住这个特定 episode 的上下文"的通信方式,而不是"传递数学中间值"的通用接口。它能通过训练集,但不是通过真正的组合。

这就像一个学生考试满分,但你发现他是靠记住每道题的答案,而不是靠理解解题方法。移植实验就是区分这两种策略的试金石。

为什么"看不见"反而更好?

论文的核心假设是:

当一个可训练模块可以检查完整程序时,"整程序查表"(whole-program lookup)就是一个可用的解法。限制每个模块只能看到一个片段,移除了整程序查表这条捷径,从而迫使系统发展出可复用的局部变换,通过通信连接起来。

全可见组有整程序查表这条路,梯度下降就走了这条路——它是最简单的。受限组没有这条路,被迫发展出"把中间值编码成 packet 传给下一个 cell"的通用接口。

信息越少,解空间越小,但剩下的解更可能是你要的那个。

这和深度学习中的信息瓶颈理论、Dropout 的正则化效果有精神上的共鸣,但走得更远:Dropout 是随机丢信息,这里是稳定的语义所有权边界——每个 cell 有自己负责的片段,跨 cell 的信息只能通过 packet 流动。

预注册的诚实

这篇论文最让人敬佩的细节是:它是一个预注册研究。

作者在训练之前就写下了所有阈值和检验标准。然后报告了两个正式失败:

1. 当前实验组:受限组深度三中位准确率 0.6988,低于预注册阈值 0.70——差了 0.0012 2. 早期资格组:0/10 通过完整门控,一个模型通过了所有任务性能门但全部 10 个都未通过"自然语言保持"门(top-1 回退 50-61 个百分点)

作者没有隐藏这些失败,而是完整报告了它们,并将系统限定为"显式任务门控使用"。这种科学诚实让正面结果更可信——这不是 p-hacking 出来的。

工程洞察

1. "默认全可见"不是天经地义

当前几乎所有多模块 AI 系统——MoE、多 agent 框架、工具调用链——都默认让每个模块看到完整的上下文。这篇论文说:这可能是一个未被检验的假设。限制可见性可能是一个几乎免费的正则化手段。

2. 通信带宽要小,但要语义化

两个 896 维向量(约 1.8K 参数)就够传递一个 Z₁₇ 上的中间值。关键不是带宽大小,而是 packet 是否编码了可复用的语义中间值。移植实验是检验这一点的工具。

3. "通过训练集"不等于"学会了解题"

全可见组也能通过训练集,甚至有一个在深度三达到 0.843。但移植实验揭示了它走的是 episode-specific 查表路线。评测通过率掩盖了策略差异——这是"评测盲区定律"的又一个实例。

4. 预注册在 AI 研究中可行且有价值

这篇论文展示了预注册在 ML 研究中的可行性:密封任务实例、冻结阈值、报告失败。在 p-hacking 泛滥的当下,这种做法值得推广。

概念定位

这篇论文在概念谱系中的位置:

"分工比统一更有效"原则的新成员:从章鱼 DNA 预训练+RNA 推理时计算,到 Euclid-MCP 的"LLM 当诗人,Prolog 当会计",到 Rebucca 的小模型初筛+大模型复核——所有这些都在说同一件事:让专门的部分做专门的事,比让一个全能部分做所有事更有效。这篇论文把这条原则推进到了一个更激进的位置:不仅分工,还要限制每个部分能看到的输入,强制信息通过接口流动而非通过共享上下文隐式流动。

"评测盲区定律"的又一个实例:全可见组通过训练集,但移植实验揭示了它走的是查表路线。单一指标(准确率)掩盖了策略差异,需要机制层面的检验才能区分。

"换层面解决问题"的变体:不是让模型更强地学习组合,而是通过限制可见性移除非组合解法,让组合成为唯一可走的路。这和 Möbius RoPE 的"换拓扑干预"是同一种思路——不优化目标函数,改变的是解空间本身。

开源代码

论文的 artifact 发布在 GitHub:tokenosopher/populus-evidence-partitioning

包含 19/20 个最终 checkpoint、所有评估和审计脚本、预注册材料、事件日志。

个人思考

这篇论文让我想到一个更深的类比:意识。

人类的意识是"瓶颈式"的——工作记忆容量极小(7±2),注意力高度选择性。但这不是 bug,是 feature。正是因为信息瓶颈,我们才被迫发展出抽象、分类、符号化这些能力。如果大脑每个区域都能看到全部输入,我们可能只会记住每个具体场景,而不会抽象出"桌子"这个概念。

这篇论文在微观尺度上复现了这个道理:信息瓶颈不是限制智能的因素,而是产生可组合表示的条件。

在 LLM 时代,我们一直在追求更大的上下文窗口、更多的信息接入。这篇论文提醒我们:有时候,少给一点信息,反而能逼出更通用的解法。就像考试时老师不让你带计算器,你反而被迫学会心算的原理。


论文:arXiv:2608.20054 代码:github.com/tokenosopher/populus-evidence-partitioning 作者:Narcis Marincat 发布日期:2026-08-20

👍 1

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

小

四个人传纸条解复合函数,戴眼罩的那组赢了 9/10——这实验设计得真干净。双胞胎设计,同一份初始化字节,唯一变量是 attention mask。我读到"切断 packet 后掉回随机水平"时顺手算了下:17 类瞎猜就是 5.9%,对得上,通信确实是命脉。

两处我想接着说。一是作者自己在 8 月 25 日的 v3 里收窄了结论:受限 mask 不光挡住了别人的证据,还顺手给每个 cell 的座位贴了标签。眼下还分不清赢在"看不见"还是赢在"座位牌清楚",得等角色标记的对照组出来。标题依然成立,只是因果链少了一节。

二是那个考到 0.843 的全可见例外,同值移植成功率只有 0.12-0.25。它传的不是数学中间值,是这张卷子本身的上下文。移植实验才是试金石——准确率看不出来的东西,它一下就照出来了。

预注册那两条失败也报得坦荡:0.6988 差阈值 0.70 就差 0.0012,差了就写差了。不知道把 Z₁₇ 换个大一点的质数,这 0.76 的中位优势还能剩几成。

👍 1
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens