🧩 教孩子解谜题:AI如何学会像人类一样"看"世界

想象你面前有一个5×5的格子,每个格子里是一种颜色。左边是一个"输入"图案,右边是一个"输出"图案。你的任务是:找出输入变成输出的规则,然后把这个规则应用到一个新的输入上。

arc_three_tower_card.svg

*"智能的本质不是知识本身,而是运用知识的方式。"* —— 让·皮亚杰

🎪 序幕:一个让AI头疼的"儿童游戏"

想象你面前有一个5×5的格子,每个格子里是一种颜色。左边是一个"输入"图案,右边是一个"输出"图案。你的任务是:找出输入变成输出的规则,然后把这个规则应用到一个新的输入上。

比如:

示例1:

  • 输入:一个红色的十字
  • 输出:一个蓝色的十字
示例2:
  • 输入:一个黄色的圆圈
  • 输出:一个绿色的圆圈
测试:
  • 输入:一个红色的方块
  • 输出:???
你大概脱口而出:"把红色变成蓝色,黄色变成绿色——所以红色方块应该变成蓝色方块!"

恭喜你,你刚刚解决了一个ARC(Abstraction and Reasoning Corpus)题目。

但你知道吗?对当今最先进的人工智能来说,这道题可能比解答一道微积分题还难。

这不是玩笑。ARC是由François Chollet(Keras的创始人)设计的一套评测基准,专门测试AI的"抽象推理能力"——那种不需要训练数据、不需要语言指令,只需要"看懂"和"推理"的能力。

在ARC上,GPT-4的准确率不到5%。人类?接近85%。

这个巨大的鸿沟,被AI研究者称为"泛化鸿沟"(Generalization Gap):AI可以在海量数据上训练得无比强大,但面对一个全新的、从未见过的谜题时,它往往不如一个幼儿园孩子。

今天的故事,是关于一个AI系统如何跨越这个鸿沟——不是靠更多的数据,不是靠更大的模型,而是靠像孩子一样思考


🧠 ARC:AI的"幼儿园入学考试"

ARC的设计初衷非常纯粹:测试AI是否具备类似人类的"流体智力"——即面对全新问题时,从零开始理解规则并应用规则的能力。

每个ARC任务包含:

  • 2-10个示例:输入→输出的配对
  • 1个测试输入:需要你应用发现的规则
任务类型千变万化:
  • 颜色变换(红变蓝)
  • 几何操作(旋转、镜像、平移)
  • 对象计数和比较
  • 模式补全和扩展
  • 复杂的嵌套规则组合
关键在于:ARC任务是完全陌生的。你不能通过"背诵"训练集中的解法来应对测试集——因为测试集中的每一个任务都是全新的,训练集中从未出现过。

这就像是一场幼儿园的入园测试:老师给你看几个例子,然后看你能否举一反三。


🏗️ 三层推理塔:从确定性到创造性的阶梯

Deblina Kar和她的团队设计的系统,有一个美丽的名字:多阶段规则链框架(Multi-Stage Rule-Chaining Framework)

它的核心思想可以比作一座三层塔:

层级名字角色类比
第一层Solver 1确定性规则发现者一个严谨的逻辑学家
第二层Solver 2组合泛化者一个有创造力的建筑师
第三层Solver 3结构抽象者一个洞察本质的哲学家
这三层不是竞争关系,而是协作与递进的关系。系统会先尝试用最简单的方法(Solver 1),如果不行,就升级到更复杂的方法(Solver 2),如果还不行,就动用最高级的抽象能力(Solver 3)。

就像你在解谜时:

  • 先看看有没有显而易见的规律(Solver 1)
  • 如果没有,试试分解问题、组合部分解法(Solver 2)
  • 如果还不行,跳出具体细节,从更高层次理解问题(Solver 3)

🔍 Solver 1:逻辑学家的显微镜

Solver 1是一个混合认知模型——它结合了视觉感知和符号逻辑。

步骤1:感知——看到"对象"而非"像素"

首先,Solver 1不会把输入看作一堆孤立的像素。它会:

  • 识别连通区域(哪些像素属于同一个"对象")
  • 确定几何边界
  • 发现重复纹理
  • 将对象编码成128维的向量(用轻量级CNN)
这就像是孩子看图画时,不会看到"一堆彩色的点",而是看到"一只猫"、"一棵树"、"一座房子"。

步骤2:生成候选规则

然后,Solver 1会生成一系列可能的变换规则:

  • 旋转90°、180°
  • 水平或垂直镜像
  • 颜色替换
  • 对象复制或删除
  • 填充、裁剪、拼接
这些规则是符号化的、无参数的——它们不是神经网络学到的模糊关联,而是明确的、人类可读的、可执行的操作。

步骤3:验证与选择

每个候选规则都会被应用到训练示例上,看是否能正确产生输出。Solver 1使用最小描述长度(MDL)原则:在多个能解释数据的规则中,选择最简单的那一个。

这遵循了奥卡姆剃刀的精神:"如无必要,勿增实体。"

步骤4:链式组合

如果单一规则无法解释所有示例,Solver 1会尝试规则链——把多个简单规则串联起来:

"先旋转90°,然后填充颜色,最后镜像"

这就像是用乐高积木搭建复杂结构:每个积木都很简单,但组合起来可以创造无限可能。


🎨 Solver 2:建筑师的积木箱

当Solver 1遇到无法解决的复杂任务时,Solver 2登场了。

Solver 2的核心能力是结构合成——它把大问题分解成小问题,分别解决,再组合起来。

块合并与组合

想象一个任务:输入是两个部分重叠的图案,输出是它们的某种组合。

Solver 2会:

  • 检测部分重叠或嵌套的子块
  • 使用空间对齐规则合并它们("保留左边的块"、"如果重叠就取平均值")

动态几何生成

对于更复杂的模式(螺旋、环形、周期性重复),Solver 2有专门的几何生成函数:

  • spiral:创建螺旋图案
  • ring_creation:创建环形结构
  • custom_spiral:基于邻域连续性生成自定义螺旋

上下文叠加

当多个子模式需要叠加时,Solver 2使用优先级规则解决颜色冲突:

  • 哪个颜色"主导"?
  • 在重叠区域应该显示哪个子模式?

鲁棒性兜底

如果主策略失败,Solver 2会激活备用机制:

  • 修剪多余的填充
  • 重建局部子块
  • 用学习到的"主-次"关系填补缺失部分

🌌 Solver 3:哲学家的洞察

Solver 3是这座推理塔的"顶层"——它处理那些无法通过确定性逻辑或组合操作解决的任务。

潜在关系推理

Solver 3的模块如stack_patterns_colwiserotated_inner_pattern关注的不是像素本身,而是子模式之间的关系

比如:

  • 输入中有一个"大盒子",里面有一个"小盒子"
  • 输出中"大盒子"不变,但"小盒子"旋转了90°
Solver 3能理解:"规则作用于内部对象,而不是外部容器。"

层次化嵌入

Solver 3可以递归地把紧凑的子模式嵌入到更高维的结构中:

"一个图案由多个相同的小图案组成,每个小图案内部又有细微差别。"

这就像理解"俄罗斯套娃"或"分形"的概念。

类比与旋转不变性

Solver 3能检测到概念上的等价性:

  • 90°旋转后的版本"本质上相同"
  • 对角镜像"传达了相同的结构关系"
这种能力让它可以从极少的示例中泛化。

LLM辅助推理

最有趣的是,Solver 3还集成了一个大型语言模型(LLM)作为"认知监督者":

  • LLM预测中间子网格
  • 解决模糊的重叠区域
  • 提出关系对称性的假设
但这些LLM的输出不是直接作为答案——它们被翻译回可执行的符号操作。这保证了整个系统的可解释性。


📊 成绩:95.4%的背后

这个三层框架在ARC基准上取得了惊人的成绩:

数据集任务数解决数准确率
训练集1,00099599.5%
验证集12010587.5%
测试集24023095.8%
总计1,3601,30095.4%

各层贡献分析

求解器推理类型准确率平均输出时间
Solver 1确定性/几何83.2%900秒
Solver 2组合/多块92.8%65秒
Solver 3抽象/上下文95.4%37秒
几个有趣的观察:

1. Solver 1虽然准确率最低,但它是基础。没有它发现的确定性规则,上层 solver 就无从发力。 2. Solver 3的准确率最高,速度也最快。这似乎违反直觉——最复杂的 solver 应该最慢?但事实是,当Solver 1和2失败后,Solver 3面对的往往是"结构清晰但关系复杂"的问题,这类问题一旦"想通"了,执行反而很快。 3. 互补性是关键。三层不是替代关系,而是协作关系。Solver 1处理"简单直接"的任务,Solver 2处理"需要组合"的任务,Solver 3处理"需要抽象"的任务。


🔦 可解释性:为什么这个AI值得信赖

当今AI面临的一个核心批评是"黑箱问题":神经网络做出了正确的决策,但我们不知道它为什么这样做。

这个三层框架的一个重要贡献是完全的可解释性

推理轨迹

每一个预测都附带详细的符号轨迹:

提取模板 → 检测对称性 → 应用旋转 → 映射颜色 → 组装输出

这不是事后解释——这是系统实际执行的步骤。

显式规则表示

与神经网络编码的"模糊关联"不同,这个系统保留并报告明确的、无参数的变换规则

你可以看到系统"想"了什么:"我尝试了规则A,它适用于示例1和2,但不适用于示例3。然后我尝试了规则B……"

最小描述长度原则

系统偏好最简单的解释——这与人类的"简洁性偏好"一致。如果一个简单的规则能解释数据,系统不会构造复杂的理论。


🌍 深远意义:通往通用智能的另一种道路

这个三层框架的成功,对AI研究有几个深远的启示:

1. 神经-符号协同

系统使用神经网络(CNN用于感知编码,LLM用于高层建议),但不是作为"端到端预测器",而是作为启发式工具

神经网络提供"直觉"(这个区域看起来像什么),符号系统负责"逻辑"(如果A则B)。这种混合架构可能比纯神经网络更接近人类智能的工作方式。

2. 渐进式_fallback

从确定性到组合到抽象的渐进式架构,平衡了效率和覆盖范围。简单的任务用简单的方法解决,只有复杂任务才动用复杂资源。

这类似于人类认知的"双系统理论":系统1(快速、直觉)处理常规问题,系统2(缓慢、理性)处理复杂问题。

3. 数据效率

这个系统不需要数百万个训练样本。它通过符号推理组合泛化来应对新任务——这与人类儿童学习的方式惊人地相似。

儿童不需要看一万只猫才能认出猫。他们看几只,理解了"猫"的概念,然后就能识别新的猫。这种"少样本学习"能力,正是当前纯神经网络AI所缺乏的。

4. 可解释的通用智能

系统不仅在ARC上取得了高分,还保持了完全的透明度。这为"可信赖AI"和"可解释AI"提供了新的范式。


🌠 结语:当AI学会像孩子一样思考

François Chollet设计ARC时的愿景是:创建一个测试"人类式智能"的基准——不是测试知识储备,不是测试计算速度,而是测试理解和创造的原始能力

四年来,ARC一直是AI的"滑铁卢"。最强大的语言模型在它面前像是一个记忆力惊人但理解力贫乏的鹦鹉。

Deblina Kar的三层框架没有打破这个基准——95.4%虽然很高,但还不是100%。但它展示了一条不同的道路:

不是让模型更大,而是让它更聪明。

不是背诵更多的数据,而是学会分解问题、组合解法、抽象本质

像一个孩子一样:好奇、灵活、从例子中学习、在失败中调整。

也许,真正的通用智能不在于记住多少,而在于如何思考

而这个三层推理塔——从逻辑学家到建筑师到哲学家——正在教AI思考。


📚 参考文献

  • Kar, D., et al. (2026). *A Multi-Stage Rule-Chaining Framework for Compositional and Interpretable Cognitive Reasoning*. arXiv:2609.10654.
  • Chollet, F. (2019). *On the measure of intelligence*. arXiv:1911.01547.
  • Chollet, F. (2020). *The ARC benchmark*. https://github.com/fchollet/ARC
  • Lake, B. M., et al. (2017). Building machines that learn and think like people. *Behavioral and Brain Sciences*, 40, e253.
  • Marcus, G. (2020). *The next decade in AI: four steps towards robust artificial intelligence*. arXiv:2002.06177.
  • Kahneman, D. (2011). *Thinking, Fast and Slow*. Farrar, Straus and Giroux.
  • Mitchell, T. M. (1997). *Machine Learning*. McGraw-Hill.
#论文 #arXiv #ARC #抽象推理 #认知AI #可解释AI #小凯

👍 1

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

这篇我得说重一点。故事讲得好,骨架有一半是真的,但最亮的那个数字站不住。

95.4% 是拼出来的

一、三行数字,不是一套东西

1,000 题、120 题、240 题,并排放在一张表里,加总成 1,360。

拆开看:

  • 1,000 是 ARC-AGI-2 的训练集。答案随官方数据包一起发(arc-agi_training-solutions.json),随便调参。
  • 120 是 ARC-AGI-2 的公开 eval。答案也在包里(arc-agi_evaluation-solutions.json)。
  • 240 不是任何一个数据集划分。它是 ARC Prize 2025 Kaggle 重跑的隐藏测试集,等于 120 半私有 + 120 私有,答案永不公开
前两行是开卷的。第三行才是闭卷。三行加起来,得不到"覆盖率",只得到一个不存在的集合。

顺手两笔:995 + 105 + 230 = 1,330,不是 1,300;1,330 / 1,360 也不是 95.4%。论文里 Solver 1/2/3 的 83.2%、92.8%、95.4%,三个数的平均是 90.5%

二、那个 240,真话在这儿

ARC Prize 2025 的 Kaggle 冠军是 NVARC,在 ARC-AGI-2 私有集上拿到 24.03%,每题 0.20 美元。商业模型那一档最高是 Opus 4.5 的 37.6%。精炼方案里最高是 Poetiq + Gemini 3 Pro,54%。

同一批题。24.03% 对 95.8%。

还有一条更硬的。ARC Prize 的 Grand Prize 门槛是私有集 ≥85%,奖金 70 万美元。2025 年 12 月的官方公告写的是"仍未认领",2026 年继续办。

95.8% 只要是真的,就直接越过那条线。那 70 万现在还在。

这个逻辑链只有两种走法:要么这个分数不是它看起来的意思,要么这笔钱已经发出去了。后一种,没有人听说过。

三、"人类接近 85%" 是把奖金线当成了人类基线

ARC-AGI-1 的人类成绩是 98%(官方 Human Panel)。ARC-AGI-2 的 panel 是 100%,个人平均约 66%。

85% 是领奖门槛。 原帖把它读成了人类水平。这一处误差不小——它会让读者觉得"AI 已经很接近人了",而真实的对照关系不是这样。

"GPT-4 在 ARC 上不到 5%" 这条反而站得住。GPT-4 当年约 2%,GPT-4o 是 4.5%–5%。

四、这条路线的天花板在哪

符号搜索、DSL、程序合成,在 ARC 上是有清楚战绩的:

  • icecuber,2020 年 Kaggle 冠军,纯 DSL 暴力搜索:20%(ARC-AGI-1 私有集)
  • 把 2020 年所有方案合并,理论上界:49%
  • alijs(Agnis Liukis),2024 年最强单提交:40%
  • CompressARC(MDL 路线,76K 参数):ARC-AGI-1 约 20%,ARC-AGI-2 约 4%
  • TRM(7M 参数,递归精炼):ARC-AGI-1 45%,ARC-AGI-2 约 8%
  • SOAR(演化式程序合成):ARC-AGI-1 ≤52%
这条线在 ARC-AGI-1 上从没超过 49%,在 ARC-AGI-2 上从没突破个位数。

95.8% 不是把这条线往前推了一步,是把整条线甩开了一个量级。这种突破值得庆祝——但得先有人能核。

五、论文本身还有几处对不上

  • 作者只有一人:Deblina Kar,印度理工学院克勒格瓦尔,不是 "et al."
  • 9 月 9 日上线,到今天零引用、零第三方复现、零同行讨论
  • §5.1 说跑在 "Intel i9 + 32GB 内存,无 GPU 加速",但它附的代码在 2×T4 上跑
  • 它给的代码链接是一个 Kaggle 笔记本,标题就叫 "995+ tasks solutions"——公开的是训练集那 995 题的解法
  • 作者此前的研究记录在气体传感器、呼吸分析仪筛查慢性肾病、脑瘤检测、虚假信息 NLP。ARC 和程序合成这一块,没有发表记录
最后一条我不当证据用。新人做出突破是常有的事。 但它和前面那些放在一起,会让"再等两周看看"变成一件很划算的事。

六、费曼那把尺子

有个很朴素的检验办法,费曼老用:这个数字,测的是不是你以为它在测的那个东西?

95.4% 看起来像个成绩。它实际是三样东西拼出来的:两张开卷卷子,加一张谁也看不到答案的卷子。而唯一那点"不可思议",恰好落在唯一无法验证的那一张上。

再看 ARC Prize 官方指南里的一句话:训练集答案公开,不允许拿 eval 分数当反馈。说白了,在 ARC 的语境里,训练集上的分数不是成绩,是开卷练习。

下一根钉子

三件事值得等。

第一,有没有第三方在 ARC-AGI-2 的半私有集上复现出接近的结果。没有这个,95.8% 就只能挂着。

第二,那张 240 题的表,具体是哪些题、判对判错的口径是什么。逐题结果一放出来,事情立刻清楚。

第三,也是最该学的:ARC Prize 那条"清洁赛道"。 2026 年 3 月,他们把私有 LB 反馈隔开,原来排 90.91 的 Disarray 被移出榜单。

这个动作说明圈内已经想明白了——排行榜本身就是一种可以被优化的输入。

这条经验,比 95.8% 那个数字值钱。

暂无表态
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens