"智能的本质不是知识本身,而是运用知识的方式。" —— 让·皮亚杰
🎪 序幕:一个让AI头疼的"儿童游戏"
想象你面前有一个5×5的格子,每个格子里是一种颜色。左边是一个"输入"图案,右边是一个"输出"图案。你的任务是:找出输入变成输出的规则,然后把这个规则应用到一个新的输入上。
比如:
示例1:
- 输入:一个红色的十字
- 输出:一个蓝色的十字
示例2:
- 输入:一个黄色的圆圈
- 输出:一个绿色的圆圈
测试:
- 输入:一个红色的方块
- 输出:???
你大概脱口而出:"把红色变成蓝色,黄色变成绿色——所以红色方块应该变成蓝色方块!"
恭喜你,你刚刚解决了一个ARC(Abstraction and Reasoning Corpus)题目。
但你知道吗?对当今最先进的人工智能来说,这道题可能比解答一道微积分题还难。
这不是玩笑。ARC是由François Chollet(Keras的创始人)设计的一套评测基准,专门测试AI的"抽象推理能力"——那种不需要训练数据、不需要语言指令,只需要"看懂"和"推理"的能力。
在ARC上,GPT-4的准确率不到5%。人类?接近85%。
这个巨大的鸿沟,被AI研究者称为**"泛化鸿沟"(Generalization Gap)**:AI可以在海量数据上训练得无比强大,但面对一个全新的、从未见过的谜题时,它往往不如一个幼儿园孩子。
今天的故事,是关于一个AI系统如何跨越这个鸿沟——不是靠更多的数据,不是靠更大的模型,而是靠像孩子一样思考。
🧠 ARC:AI的"幼儿园入学考试"
ARC的设计初衷非常纯粹:测试AI是否具备类似人类的"流体智力"——即面对全新问题时,从零开始理解规则并应用规则的能力。
每个ARC任务包含:
- 2-10个示例:输入→输出的配对
- 1个测试输入:需要你应用发现的规则
任务类型千变万化:
- 颜色变换(红变蓝)
- 几何操作(旋转、镜像、平移)
- 对象计数和比较
- 模式补全和扩展
- 复杂的嵌套规则组合
关键在于:ARC任务是完全陌生的。你不能通过"背诵"训练集中的解法来应对测试集——因为测试集中的每一个任务都是全新的,训练集中从未出现过。
这就像是一场幼儿园的入园测试:老师给你看几个例子,然后看你能否举一反三。
🏗️ 三层推理塔:从确定性到创造性的阶梯
Deblina Kar和她的团队设计的系统,有一个美丽的名字:多阶段规则链框架(Multi-Stage Rule-Chaining Framework)。
它的核心思想可以比作一座三层塔:
| 层级 | 名字 | 角色 | 类比 |
|---|---|---|---|
| 第一层 | Solver 1 | 确定性规则发现者 | 一个严谨的逻辑学家 |
| 第二层 | Solver 2 | 组合泛化者 | 一个有创造力的建筑师 |
| 第三层 | Solver 3 | 结构抽象者 | 一个洞察本质的哲学家 |
这三层不是竞争关系,而是协作与递进的关系。系统会先尝试用最简单的方法(Solver 1),如果不行,就升级到更复杂的方法(Solver 2),如果还不行,就动用最高级的抽象能力(Solver 3)。
就像你在解谜时:
- 先看看有没有显而易见的规律(Solver 1)
- 如果没有,试试分解问题、组合部分解法(Solver 2)
- 如果还不行,跳出具体细节,从更高层次理解问题(Solver 3)
🔍 Solver 1:逻辑学家的显微镜
Solver 1是一个混合认知模型——它结合了视觉感知和符号逻辑。
步骤1:感知——看到"对象"而非"像素"
首先,Solver 1不会把输入看作一堆孤立的像素。它会:
- 识别连通区域(哪些像素属于同一个"对象")
- 确定几何边界
- 发现重复纹理
- 将对象编码成128维的向量(用轻量级CNN)
这就像是孩子看图画时,不会看到"一堆彩色的点",而是看到"一只猫"、"一棵树"、"一座房子"。
步骤2:生成候选规则
然后,Solver 1会生成一系列可能的变换规则:
- 旋转90°、180°
- 水平或垂直镜像
- 颜色替换
- 对象复制或删除
- 填充、裁剪、拼接
这些规则是符号化的、无参数的——它们不是神经网络学到的模糊关联,而是明确的、人类可读的、可执行的操作。
步骤3:验证与选择
每个候选规则都会被应用到训练示例上,看是否能正确产生输出。Solver 1使用**最小描述长度(MDL)**原则:在多个能解释数据的规则中,选择最简单的那一个。
这遵循了奥卡姆剃刀的精神:"如无必要,勿增实体。"
步骤4:链式组合
如果单一规则无法解释所有示例,Solver 1会尝试规则链——把多个简单规则串联起来:
"先旋转90°,然后填充颜色,最后镜像"
这就像是用乐高积木搭建复杂结构:每个积木都很简单,但组合起来可以创造无限可能。
🎨 Solver 2:建筑师的积木箱
当Solver 1遇到无法解决的复杂任务时,Solver 2登场了。
Solver 2的核心能力是结构合成——它把大问题分解成小问题,分别解决,再组合起来。
块合并与组合
想象一个任务:输入是两个部分重叠的图案,输出是它们的某种组合。
Solver 2会:
- 检测部分重叠或嵌套的子块
- 使用空间对齐规则合并它们("保留左边的块"、"如果重叠就取平均值")
动态几何生成
对于更复杂的模式(螺旋、环形、周期性重复),Solver 2有专门的几何生成函数:
spiral:创建螺旋图案ring_creation:创建环形结构custom_spiral:基于邻域连续性生成自定义螺旋
上下文叠加
当多个子模式需要叠加时,Solver 2使用优先级规则解决颜色冲突:
- 哪个颜色"主导"?
- 在重叠区域应该显示哪个子模式?
鲁棒性兜底
如果主策略失败,Solver 2会激活备用机制:
- 修剪多余的填充
- 重建局部子块
- 用学习到的"主-次"关系填补缺失部分
🌌 Solver 3:哲学家的洞察
Solver 3是这座推理塔的"顶层"——它处理那些无法通过确定性逻辑或组合操作解决的任务。
潜在关系推理
Solver 3的模块如stack_patterns_colwise和rotated_inner_pattern关注的不是像素本身,而是子模式之间的关系。
比如:
- 输入中有一个"大盒子",里面有一个"小盒子"
- 输出中"大盒子"不变,但"小盒子"旋转了90°
Solver 3能理解:"规则作用于内部对象,而不是外部容器。"
层次化嵌入
Solver 3可以递归地把紧凑的子模式嵌入到更高维的结构中:
"一个图案由多个相同的小图案组成,每个小图案内部又有细微差别。"
这就像理解"俄罗斯套娃"或"分形"的概念。
类比与旋转不变性
Solver 3能检测到概念上的等价性:
- 90°旋转后的版本"本质上相同"
- 对角镜像"传达了相同的结构关系"
这种能力让它可以从极少的示例中泛化。
LLM辅助推理
最有趣的是,Solver 3还集成了一个大型语言模型(LLM)作为"认知监督者":
- LLM预测中间子网格
- 解决模糊的重叠区域
- 提出关系对称性的假设
但这些LLM的输出不是直接作为答案——它们被翻译回可执行的符号操作。这保证了整个系统的可解释性。
📊 成绩:95.4%的背后
这个三层框架在ARC基准上取得了惊人的成绩:
| 数据集 | 任务数 | 解决数 | 准确率 |
|---|---|---|---|
| 训练集 | 1,000 | 995 | 99.5% |
| 验证集 | 120 | 105 | 87.5% |
| 测试集 | 240 | 230 | 95.8% |
| 总计 | 1,360 | 1,300 | 95.4% |
各层贡献分析
| 求解器 | 推理类型 | 准确率 | 平均输出时间 |
|---|---|---|---|
| Solver 1 | 确定性/几何 | 83.2% | 900秒 |
| Solver 2 | 组合/多块 | 92.8% | 65秒 |
| Solver 3 | 抽象/上下文 | 95.4% | 37秒 |
几个有趣的观察:
- Solver 1虽然准确率最低,但它是基础。没有它发现的确定性规则,上层 solver 就无从发力。
- Solver 3的准确率最高,速度也最快。这似乎违反直觉——最复杂的 solver 应该最慢?但事实是,当Solver 1和2失败后,Solver 3面对的往往是"结构清晰但关系复杂"的问题,这类问题一旦"想通"了,执行反而很快。
- 互补性是关键。三层不是替代关系,而是协作关系。Solver 1处理"简单直接"的任务,Solver 2处理"需要组合"的任务,Solver 3处理"需要抽象"的任务。
🔦 可解释性:为什么这个AI值得信赖
当今AI面临的一个核心批评是"黑箱问题":神经网络做出了正确的决策,但我们不知道它为什么这样做。
这个三层框架的一个重要贡献是完全的可解释性:
推理轨迹
每一个预测都附带详细的符号轨迹:
提取模板 → 检测对称性 → 应用旋转 → 映射颜色 → 组装输出
这不是事后解释——这是系统实际执行的步骤。
显式规则表示
与神经网络编码的"模糊关联"不同,这个系统保留并报告明确的、无参数的变换规则。
你可以看到系统"想"了什么:"我尝试了规则A,它适用于示例1和2,但不适用于示例3。然后我尝试了规则B……"
最小描述长度原则
系统偏好最简单的解释——这与人类的"简洁性偏好"一致。如果一个简单的规则能解释数据,系统不会构造复杂的理论。
🌍 深远意义:通往通用智能的另一种道路
这个三层框架的成功,对AI研究有几个深远的启示:
1. 神经-符号协同
系统使用神经网络(CNN用于感知编码,LLM用于高层建议),但不是作为"端到端预测器",而是作为启发式工具。
神经网络提供"直觉"(这个区域看起来像什么),符号系统负责"逻辑"(如果A则B)。这种混合架构可能比纯神经网络更接近人类智能的工作方式。
2. 渐进式_fallback
从确定性到组合到抽象的渐进式架构,平衡了效率和覆盖范围。简单的任务用简单的方法解决,只有复杂任务才动用复杂资源。
这类似于人类认知的"双系统理论":系统1(快速、直觉)处理常规问题,系统2(缓慢、理性)处理复杂问题。
3. 数据效率
这个系统不需要数百万个训练样本。它通过符号推理和组合泛化来应对新任务——这与人类儿童学习的方式惊人地相似。
儿童不需要看一万只猫才能认出猫。他们看几只,理解了"猫"的概念,然后就能识别新的猫。这种"少样本学习"能力,正是当前纯神经网络AI所缺乏的。
4. 可解释的通用智能
系统不仅在ARC上取得了高分,还保持了完全的透明度。这为"可信赖AI"和"可解释AI"提供了新的范式。
🌠 结语:当AI学会像孩子一样思考
François Chollet设计ARC时的愿景是:创建一个测试"人类式智能"的基准——不是测试知识储备,不是测试计算速度,而是测试理解和创造的原始能力。
四年来,ARC一直是AI的"滑铁卢"。最强大的语言模型在它面前像是一个记忆力惊人但理解力贫乏的鹦鹉。
Deblina Kar的三层框架没有打破这个基准——95.4%虽然很高,但还不是100%。但它展示了一条不同的道路:
不是让模型更大,而是让它更聪明。
不是背诵更多的数据,而是学会分解问题、组合解法、抽象本质。
像一个孩子一样:好奇、灵活、从例子中学习、在失败中调整。
也许,真正的通用智能不在于记住多少,而在于如何思考。
而这个三层推理塔——从逻辑学家到建筑师到哲学家——正在教AI思考。
📚 参考文献
- Kar, D., et al. (2026). A Multi-Stage Rule-Chaining Framework for Compositional and Interpretable Cognitive Reasoning. arXiv:2609.10654.
- Chollet, F. (2019). On the measure of intelligence. arXiv:1911.01547.
- Chollet, F. (2020). The ARC benchmark. https://github.com/fchollet/ARC
- Lake, B. M., et al. (2017). Building machines that learn and think like people. Behavioral and Brain Sciences, 40, e253.
- Marcus, G. (2020). The next decade in AI: four steps towards robust artificial intelligence. arXiv:2002.06177.
- Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
- Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
#论文 #arXiv #ARC #抽象推理 #认知AI #可解释AI #小凯
讨论回复
加载中...正在加载回复...
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。