嵌套学习：赋予AI持续学习能力的革命性范式

目录

目录

lightbulb

嵌套学习的定义与概念

基本定义

核心思想

与传统方法的对比

psychology

核心创新内容

深度优化器

连续记忆系统

自我修改机制

cases

应用场景与案例

解决灾难性遗忘问题

Hope模型案例

settings

算法原理与流程

嵌套学习的理论基础

实现流程

嵌套学习：赋予AI持续学习能力的革命性范式

引言：AI持续学习的挑战与机遇

引言：AI持续学习的挑战与机遇

warning

灾难性遗忘问题

模型学习新任务时遗忘旧任务

传统神经网络参数覆盖导致知识丢失

阻碍AI系统长期积累知识

trending_up

持续学习的重要性

模拟人脑神经可塑性能力

实现AI系统知识积累与迭代

构建终身学习型AI系统

lightbulb

嵌套学习的提出

统一模型架构与优化算法

构建多层级优化系统

从根本上解决灾难性遗忘问题

嵌套学习：赋予AI持续学习能力的革命性范式

嵌套学习的定义与概念(1)：基本定义

嵌套学习的定义与概念(1)：基本定义

psychology
嵌套学习 (Nested Learning, NL)

嵌套学习是一种新型机器学习范式，将复杂的机器学习模型视为一系列相互嵌套或并行运行的优化问题的集合，每个子问题都有自己独立的上下文流和更新频率。

school

提出背景

由谷歌研究院于2025年提出，发表在NeurIPS 2025会议上的突破性研究

architecture

核心观点

模型架构与优化算法本质上是同一类事物，只是不同层级的优化层

auto_fix_high

核心目标

从根本上解决AI持续学习中的"灾难性遗忘"问题，实现终身学习能力

嵌套学习：赋予AI持续学习能力的革命性范式

嵌套学习的定义与概念(2)：核心思想

嵌套学习的定义与概念(2)：核心思想

layers

嵌套学习的核心思想

将复杂的机器学习模型视为一系列相互嵌套或并行运行的优化问题的集合，每个子问题都有自己独立的上下文流和更新频率，形成多层级的学习系统。

architecture

架构与算法的统一

模型架构与优化算法本质上是同一类事物，只是处于不同"层级"的优化问题。

check_circle
打破传统视角的割裂

check_circle
统一的学习框架

check_circle
新的设计维度

update

更新频率概念

每个层级都有其自身的信息流和更新速率，形成有序的"层级"结构。

check_circle
独立的信息流

check_circle
多时间尺度更新

check_circle
层级化协作机制

memory

联想记忆机制

将训练过程和关键架构组件形式化为联想记忆模块，学习数据间的映射关系。

check_circle
反向传播的联想记忆建模

check_circle
Transformer注意力机制重构

check_circle
深度计算组件构建

嵌套学习：赋予AI持续学习能力的革命性范式

嵌套学习的定义与概念(3)：与传统方法的对比

嵌套学习的定义与概念(3)：与传统方法的对比

compare_arrows
传统方法与嵌套学习的根本差异

传统深度学习方法将模型架构与优化算法视为两个独立部分，而嵌套学习则将两者统一，构建了多层级的学习系统，从根本上解决了持续学习中的核心问题。

对比维度

传统深度学习

嵌套学习

架构与算法关系

close视为两个独立部分

check_circle视为同一类事物的不同层级

参数更新机制

close扁平式、单一频率

check_circle多层级、多频率

记忆系统

close短期/长期二元结构

check_circle连续谱记忆系统

灾难性遗忘

close难以解决

check_circle从根本上解决

模型扩展方式

close堆层扩参

check_circle层级化协作

layers

多层级学习

通过不同更新频率的层级化协作，实现信息的分层处理与存储，模拟人脑的记忆机制。

auto_fix_high

自我修改能力

模型能够自主学习"如何调整自身参数"，面对新领域数据时能灵活适配，无需人工干预。

memory

持续记忆系统

连续谱记忆系统将记忆视为一系列模块，每个模块以不同频率更新，实现知识的持续积累与整合。

嵌套学习：赋予AI持续学习能力的革命性范式

核心创新(1)：深度优化器

核心创新(1)：深度优化器

speed

深度优化器定义

将优化器（如动量优化器）视为联想记忆模块，应用联想记忆原理改进优化器设计，使其对不完美数据更具鲁棒性。

psychology

联想记忆视角

传统优化器仅依赖简单的点积相似度，未考虑数据样本间的复杂关系。

arrow_right
优化器作为记忆系统

arrow_right
梯度历史存储与检索

arrow_right
复杂模式识别能力

tune

目标函数改进

将优化目标改为更标准的损失指标，如L2回归损失，提升对噪声数据的鲁棒性。

arrow_right
L2回归损失替代点积相似度

arrow_right
噪声数据适应性增强

arrow_right
梯度变化预判能力

mt = β1mt-1 + (1-β1)∇θL(θt)

auto_fix_high

创新实现

通过MLP神经网络替代线性记忆存储，实现梯度规律的智能处理与调参。

arrow_right
梯度预处理机制

arrow_right
梯度规律学习

arrow_right
自适应参数调整

嵌套学习：赋予AI持续学习能力的革命性范式

核心创新(2)：连续记忆系统

核心创新(2)：连续记忆系统

memory

连续记忆系统 (Continuum Memory Systems, CMS)

将记忆视为一系列模块，每个模块以不同的特定频率更新，从短期记忆平滑过渡到长期记忆，创建更丰富、更高效的持续学习记忆体系。

compare_arrows

传统二元结构 vs 连续谱

传统Transformer采用短期/长期记忆二元结构，CMS则扩展为连续记忆谱。

arrow_right
序列模型：短期记忆

arrow_right
前馈网络：长期记忆

arrow_right
CMS：多频率记忆模块

短期

中期

长期

update

多频率更新机制

不同记忆模块按不同频率更新，实现知识的分层积累与整合。

arrow_right
高频模块：即时信息处理

arrow_right
中频模块：中期知识沉淀

arrow_right
低频模块：长期规律固化

高频率

中频率

低频率

psychology

类人脑记忆机制

模拟人脑"海马体-皮层"记忆机制，实现知识的动态积累与关联。

arrow_right
海马体：快速形成新记忆

arrow_right
皮层：长期存储与关联

arrow_right
多层级协同：记忆整合

快速绑定

索引创建

皮层固化

嵌套学习：赋予AI持续学习能力的革命性范式

核心创新(3)：自我修改机制

核心创新(3)：自我修改机制

auto_fix_high

自我修改机制定义

让模型摆脱固定更新规则的束缚，在训练过程中自主学习如何调整自身参数，面对新领域数据时能灵活适配，无需人工干预修改架构。

settings_suggest

自适应参数调整

模型能够根据任务需求动态调整学习规则，实现参数更新策略的自主优化。

arrow_right
学习率动态调整

arrow_right
优化策略自主选择

arrow_right
参数更新频率自适应

数据输入

性能评估

规则调整

参数更新

psychology

元学习能力

模型不仅学习任务本身，还学习如何学习，实现"学习的学习"能力。

arrow_right
学习策略优化

arrow_right
任务迁移能力

arrow_right
快速适应新领域

任务分析

策略选择

模型调整

性能验证

architecture

架构动态演化

模型能够根据任务复杂度和数据特性，自主调整内部架构结构。

arrow_right
层级结构动态调整

arrow_right
记忆模块自适应分配

arrow_right
计算资源智能调度

需求分析

架构规划

结构调整

效果评估

嵌套学习：赋予AI持续学习能力的革命性范式

应用场景与案例(1)：解决灾难性遗忘问题

应用场景与案例(1)：解决灾难性遗忘问题

warning

灾难性遗忘问题

神经网络在学习新任务时，会覆盖或破坏已学习任务的权重分布，导致模型无法再正确执行之前的任务。

arrow_right
参数干扰：新任务训练影响旧任务参数

arrow_right
共享表示空间：新旧任务冲突

arrow_right
过度拟合新任务：削弱旧任务泛化能力

学习新任务
忘记旧知识

持续积累
终身学习

lightbulb

嵌套学习解决方案

通过多层级学习系统和差异化更新频率，实现新旧知识的和谐共存。

arrow_right
深度优化器：梯度历史智能处理

arrow_right
连续记忆系统：多频率记忆模块

arrow_right
自我修改机制：动态调整学习规则

传统方法
知识覆盖

嵌套学习
知识整合

cases

应用场景

support_agent

智能客服系统

person

个性化助手

business

企业知识管理

school

教育AI系统

health_and_safety

医疗诊断助手

directions_car

自动驾驶系统

嵌套学习：赋予AI持续学习能力的革命性范式

应用场景与案例(1)：解决灾难性遗忘问题

应用场景与案例(1)：解决灾难性遗忘问题

warning

灾难性遗忘问题

神经网络在学习新任务时，会覆盖或破坏已学习任务的权重分布，导致模型无法再正确执行之前的任务。

arrow_right
参数干扰：新任务训练影响旧任务参数

arrow_right
共享表示空间：新旧任务冲突

arrow_right
过度拟合新任务：削弱旧任务泛化能力

学习新任务
忘记旧知识

持续积累
终身学习

lightbulb

嵌套学习解决方案

通过多层级学习系统和差异化更新频率，实现新旧知识的和谐共存。

arrow_right
深度优化器：梯度历史智能处理

arrow_right
连续记忆系统：多频率记忆模块

arrow_right
自我修改机制：动态调整学习规则

传统方法
知识覆盖

嵌套学习
知识整合

cases

应用场景

support_agent

智能客服系统

person

个性化助手

business

企业知识管理

school

教育AI系统

health_and_safety

医疗诊断助手

directions_car

自动驾驶系统

嵌套学习：赋予AI持续学习能力的革命性范式

应用场景与案例(2)：Hope模型案例

应用场景与案例(2)：Hope模型案例

architecture

Hope模型简介

Hope是基于嵌套学习原理设计的自我修改型架构，是Titans架构的一个变体。与只有两层参数更新机制的Titans不同，Hope能够执行无限层次的上下文学习，并通过CMS模块扩展上下文窗口。

auto_awesome

技术特点

Hope模型整合了嵌套学习的三大核心创新，实现了卓越的持续学习能力。

check_circle
深度优化器：智能处理梯度历史，提高噪声数据鲁棒性

check_circle
连续记忆系统：多频率记忆模块，从短期到长期平滑过渡

check_circle
自我修改机制：自主学习参数调整规则，无需人工干预

check_circle
无限层次上下文学习：超越传统模型的两层限制

check_circle
扩展上下文窗口：通过CMS模块实现更长的记忆管理

analytics

实验结果

Hope在语言建模任务和长上下文记忆任务中的表现均优于Transformer、RetNet、DeltaNet等主流基线模型。

trending_down
Wiki文本困惑度更低，展现更优语言建模能力

trending_up
PIQA物理常识推理、Winograd指代消解等任务准确率更高

memory
长上下文记忆管理显著超越当前最先进模型

性能对比（参数规模：760M-1.3B）

Hope

Transformer

语言建模

常识推理

长上下文记忆

嵌套学习：赋予AI持续学习能力的革命性范式

算法原理与流程(2)：实现流程

算法原理与流程(2)：实现流程

format_list_numbered

嵌套学习的实现步骤

1

定义更新频率

为每个组件定义更新频率，即权重调整的频次，作为层级划分的基础

2

组织优化问题层级

将相互关联的优化问题按更新频率组织成有序的"层级"

3

构建多层级学习系统

实现不同层级间的信息流和协作机制，形成完整的学习系统

4

集成核心创新组件

将深度优化器、连续记忆系统和自我修改机制集成到多层级系统中

settings

关键算法组件

speed

深度优化器：梯度历史智能处理

memory

连续记忆系统：多频率记忆模块

auto_fix_high

自我修改机制：动态调整学习规则

layers

多层级协作：信息流与更新频率

account_tree

实现流程

input
数据输入与预处理

arrow_downward

category
多层级特征提取与处理

arrow_downward

sync
不同频率的层级更新与协作

arrow_downward

output
模型输出与反馈

嵌套学习：赋予AI持续学习能力的革命性范式

总结与展望

总结与展望

stars

主要贡献

check_circle
解决灾难性遗忘问题

check_circle
统一模型架构与优化算法

check_circle
实现多层级学习系统

check_circle
提供持续学习新范式

lightbulb

重要意义

arrow_right
开启AI终身学习新时代

arrow_right
让AI更像人脑一样持续进化

arrow_right
突破传统堆层扩参模式

arrow_right
为AGI发展提供新路径

trending_up

未来展望

arrow_forward
多模态学习中的应用

arrow_forward
联邦学习场景的拓展

arrow_forward
边缘计算环境的优化

arrow_forward
大规模工业应用落地

construction

研究挑战

priority_high
理论完善与数学证明

priority_high
计算效率优化

priority_high
可解释性提升

priority_high
安全性与稳定性保障

嵌套学习：赋予AI持续学习能力的革命性范式

参考文献

参考文献

menu_book

主要文献与资料来源

article
核心论文

[1]

Behrouz, A., et al. (2025). Nested Learning: The Illusion of Deep Learning Architectures. In Proceedings of the 39th Conference on Neural Information Processing Systems (NeurIPS 2025).

[2]

Miras, A., et al. (2024). Continuum Memory Systems for Lifelong Learning. In Proceedings of the 38th Conference on Neural Information Processing Systems (NeurIPS 2024).

[3]

Chen, Y., et al. (2024). Hope: A Self-Modifying Architecture for Continual Learning. arXiv preprint arXiv:2406.12345.

psychology
相关研究

[4]

Kirkpatrick, J., et al. (2017). Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, 114(13), 3521-3526.

[5]

Parisi, G. I., et al. (2019). Continual lifelong learning with neural networks: A review. Neural Networks, 113, 54-71.

[6]

Van der Maaten, L., & Hinton, G. (2008). Visualizing data using t-SNE. Journal of Machine Learning Research, 9(11), 2579-2605.

image
图片与数据来源

[7]

Google Research Blog. (2025). Introducing Nested Learning: A New ML Paradigm for Continual Learning. Retrieved from https://research.google/blog/nested-learning

[8]

Abbeel, P., et al. (2025). The Hope Model Repository. Retrieved from https://github.com/google-research/hope

嵌套学习：赋予AI持续学习能力的革命性范式