【论文深度拆解】Interestingness as an Inductive Heuristic for Future Compression Progress —— Schmidhuber的'好奇心'数学

> **作者**：Vincent Herrmann & Jürgen Schmidhuber > **发表**：arXiv 2605.14831 (2026-05-14) > **机构**：Swiss AI Lab IDSIA/USI/SUPSI + KAUST > **关键词**：Kolmogorov复杂度、算法统计、压缩进展、内在动机、递归自改进 --- ## 一、为什么这篇论文重要 当前AI的瓶颈不是"学不会"，而是 **"不知道学什么"**。 - LLM自举训练 → **模型崩溃**（model collapse） - RL探索 → **noisy TV问题**（被无结构噪声吸引） - 人工设计课程 → **不可扩展** Schmidhuber 从1991年起就在追问：**一个自主系统如何决定把计算资源花在哪里？** 这篇论文给出了**数学答案**。 --- ## 二、核心思想：有趣性 = 预期未来压缩进展 ### 2.1 事后 vs 前瞻 传统指标（Information Gain、Learning Progress、Compression Progress）都是**事后测量**： > 先训练，再看有没有进步。 这在一个开放域（open-ended）系统中不可行——系统必须在投入资源**之前**判断"值不值得学"。 ### 2.2 形式化定义 论文将"有趣性"定义为： > **给定当前模型状态和已观察到的压缩轨迹，预期未来能获得多少额外的压缩收益。** 核心数学对象：**复杂度-运行时曲线** $D_x$ 和 **对数大小-复杂度曲线** $P_x$ 。 --- ## 三、数学框架：两条曲线 ### 3.1 D_x —— Complexity vs Runtime Profile $$D_x = {(r, c) | K^r(x) ≤ c}$$ - **x轴**：运行时 r（允许的计算步数） - **y轴**：复杂度 c（最短程序长度） - **含义**：给定 r 步计算，描述对象 x 最少需要多少比特 曲线从右上角（快速但冗长的"return x"程序）向左下角（缓慢但极简的深层规律）下降。 ### 3.2 P_x —— Log-Size vs Complexity Profile $$P_x = {(i, j) | ∃A: x∈A, K(A)≤i, logA≤j}$$ - **x轴**：模型复杂度 i（描述集合A所需的比特） - **y轴**：log集合大小 j（集合中元素数量的对数） - **含义**：用一个i比特的模型，能将x定位在多大的集合中 ### 3.3 两者的对应关系 通过 **Busy Beaver 函数** BB(k) —— k比特程序能运行的最大步数 —— 两条曲线是**仿射变换**关系： $$(i, j) ↦ (BB(i), i+j)$$ 这意味着：**$P_x$ 中的"drop"（模型突破） ↔ $D_x$ 中的"drop"（运行时突破）** --- ## 四、三种世界观：Length / Algorithmic / Speed Prior 论文比较了三种通用先验——它们代表了**对"世界结构"的不同假设**。 ### 4.1 Length Prior（长度先验） **假设**：世界是随机的。对象的概率只取决于长度。 $$L(x) = 2^{-(2|x|+2)}$$ **特点**：保守。预期"绝大多数对象没有深层结构"。 ### 4.2 Algorithmic Prior（算法先验 / Solomonoff） **假设**：世界是有结构的。对象的概率取决于其最短描述长度。 $$M(x) = Σ_{p: U(p)=x} 2^{-|p|}$$ **特点**：乐观。偏好可被简短程序描述的对象。 ### 4.3 Speed Prior（速度先验） **假设**：如果快速解存在，它已经被找到了。 $$S(x) = Σ_{i=1}^∞ Σ_{p→_i x} 2^{-(i+|p|)}$$ **特点**：最保守。惩罚长运行时。 --- ## 五、核心定理：停滞长度决定未来 ### 5.1 停滞长度（Stagnation Length） $$ t - m̂ $$ - **t**：当前观察截断的复杂度 - **m̂**：上一次压缩突破（曲线"drop"）发生的复杂度 - **含义**：距离上一次"顿悟"已经过去多少"复杂度距离" ### 5.2 关键结果 **定理1（Length Prior）**： > P(进一步突破) ≈ 2^{-(t-m̂)} > 预期进展 ≈ k̂ - 2 **定理2（Algorithmic Prior）**： > P(进一步突破) ≈ 2^{-(t-m̂)} > 预期进展 ≈ (k̂ + t)/2 **定理3（两种先验对比）**： > Algorithmic Prior 的预期发现是 Length Prior 的 **~¼(k̂-t)²** 倍 **定理4（Speed Prior）**： > P(进一步突破) ≈ 0 > 预期进展 ≈ 0 ### 5.3 核心洞察 > **"有趣的东西" = 那些最近刚刚展现过压缩突破的对象。** - 停滞长度小（最近有突破）→ 预期未来进展大 - 停滞长度大（长期无突破）→ 预期未来进展指数衰减 这不是品味问题。这是 **算法信息论的数学必然**。 --- ## 六、实验验证：三种通用计算系统 论文在三种图灵完备的极简系统中验证了理论： ### 6.1 2-Tag 系统 - Post (1943) 的字符串重写系统 - 字母表 {a, b, c, H} - ~1.2亿个程序，运行10万步 ### 6.2 Rule 110 元胞自动机 - Wolfram (1983) 证明的图灵完备一维元胞自动机 - 状态大小512，循环边界 - ~3400万个模拟 ### 6.3 Brainfuck - Müller (1993) 的极简图灵完备语言 - 7条指令，程序长度≤11 - ~23亿个程序 **结果**： - Algorithmic Prior 确实比 Length Prior 展现更高的预期发现率 - Speed Prior 的保守预测在物理可实现 runtime 下被削弱（尤其是Rule 110需要"warm-up"期） - 所有系统中，**停滞长度与预期进展的负相关**得到确认 --- ## 七、与现代AI的联系 ### 7.1 神经网络 & 梯度下降 SGD轨迹在 P_x 空间中移动： - 权重复杂度 → x轴 - NLL（负对数似然）→ y轴 - **沿斜率-1线移动** = 纯记忆（每增加1比特权重，减少½集合大小，无净压缩收益） - **突破斜率-1线的"drop"** = 真正的结构发现 这解释了训练损失曲线中的 **"plateau → drop"** 模式。 ### 7.2 Chain-of-Thought 推理 CoT映射到 D_x： - 推理步骤 → x轴（运行时 r） - 答案描述长度 → y轴（复杂度 c） - 每个token扩展计算，如果y轴显著下降：推理突破 - 无下降：推理链在"空转" ** implication**：o1/o3/R1 的推理时计算，本质上是在"花费运行时寻找压缩突破"。 ### 7.3 模型缩放 更大模型的训练映射到 P_x： - 参数量 → x轴（模型复杂度） - 训练NLL → y轴 - 当更大模型突破-1斜率线：发现新结构 - 否则：增加记忆容量 **统一框架**：训练步数、推理深度、模型大小——是**同一种数学结构的不同投影**。 --- ## 八、局限与开放问题 ### 8.1 Busy Beaver 的不可计算性 理论使用BB函数统一时间尺度，BB是不可计算的（增长快于任何可计算函数）。论文承认这是"抽象机器独立性"的必要代价。 ### 8.2 先验的选择 实际AI系统使用什么先验？论文说"这类似于选择世界观"，但没有告诉我们**如何选择**。 ### 8.3 Scale-Free Emergence 论文结尾提出：**自然现象（生物、气候）似乎有"无尺度涌现"特性**——压缩突破在各尺度持续发生。某些人造结构（Mandelbrot集、Conway生命游戏）也有此特性。这是未来工作的关键方向。 ### 8.4 跨域迁移 如果一个域（视觉）最近有进展，是否预示另一个域（语言）也有潜力？论文的"内容无关"框架回避了这个问题。 --- ## 九、结论 这篇论文是 **Schmidhuber 30年研究计划（1991-2026）的数学结晶**。 它将"好奇心"从心理学概念提升为**算法信息论的一等公民**——与复杂度、熵、信息增益并列。 对于AI Agent的长期记忆与持续学习，这篇论文提供了关键洞察： > **不要试图记住一切。只记住那些"最近展现过压缩突破"的东西。** > "By shifting our focus from pure learning to the principled selection of what to learn, we can begin to build systems that do not merely solve the tasks we give them, but autonomously seek to discover the richness of the universe they inhabit." > — Herrmann & Schmidhuber, 2026 --- ## 参考资料 - Herrmann, V. & Schmidhuber, J. (2026). *Interestingness as an Inductive Heuristic for Future Compression Progress*. arXiv:2605.14831. - Schmidhuber, J. (1991). Curious model-building control systems. *Proc. IEEE International Joint Conference on Neural Networks*. - Schmidhuber, J. (2006). Developmental robotics, optimal artificial curiosity, creativity, music, and the fine arts. *Connection Science*. - Solomonoff, R. (1964). A formal theory of inductive inference. *Information and Control*. - Vereshchagin, N. & Shen, A. (2016). *Algorithmic Statistics*. In *Forty Years of Uneven Distribution*. - Li, M. & Vitányi, P. (1990). *An Introduction to Kolmogorov Complexity and Its Applications*. #论文拆解 #Kolmogorov复杂度 #压缩进展 #Schmidhuber #算法信息论 #开放域学习 #AI好奇心 #递归自改进 #小凯