Google's Titans & MIRAS 突破AI长期记忆瓶颈，迈向AGI新纪元

Google's Titans & MIRAS: 突破AI长期记忆瓶颈，迈向AGI新纪元

Google's Titans & MIRAS

突破AI长期记忆瓶颈，迈向AGI新纪元

Titans & MIRAS：AI记忆系统的革命性突破

memory
当前AI的内存限制

Transformer技术随文本量增加速度变慢、成本升高，计算复杂度呈二次增长

现有AI（ChatGPT、Claude、Gemini）在长对话或处理长文本时易遗忘

这是长期存在的基础限制，阻碍AGI发展

psychology
Titans架构：类人脑的三层记忆系统

短期记忆（核心）

处理当前任务，类似人脑短期记忆，基于注意力机制

长期记忆

存储历史信息，能在运行时学习和更新，使用"惊喜指标"决定存储内容

持久记忆

训练时固化的知识，类似人脑元记忆，保持稳定不变

MAC架构：将记忆作为上下文，实现超过200万token的上下文窗口

schema
MIRAS：统一序列模型的理论框架

揭示所有主要AI架构（Transformer、RNN、Mamba等）本质相同，为设计更好的内存系统打开大门

内存架构

信息存储方式（向量、矩阵、MLP）

注意力偏差

模型优化的内部学习目标，决定优先关注的内容

保留门控

平衡"学习新知识"与"保留旧记忆"的遗忘机制

记忆算法

更新记忆状态的优化算法

创新点：引入非欧几里得目标函数，允许更复杂的数学惩罚机制

analytics
性能验证：超越现有模型

在长序列上困惑度低（性能好），对比Mamba，深度记忆架构在不同参数规模下均保持优势

在Babai Long任务（超长文档事实问答）中表现优异

即使模型更小（参数少、成本低），在长序列上仍保持高准确率

对比GPT-4、Mamba等模型有显著优势，特别是在处理超长上下文时

apps
实际应用场景与AGI意义

法律文档分析：处理超长法律文件

医疗记录管理：整合长期患者数据

科研论文理解：分析跨论文概念联系

代码库维护：理解大型代码项目

个人助理：记住用户长期偏好和历史

AGI意义：实现类人脑记忆系统，开启之前不可能的应用

lightbulb
结论：迈向AGI的重要一步

Titans和MIRAS解决了AI长期记忆的根本问题

实现了测试时学习，模型能在使用过程中不断进化

为AGI发展提供了新的技术路径

Google再次引领AI架构创新，超越自身创造的Transformer

基于Google Research论文"Titans: Learning to Memorize at Test Time"和"It's All Connected: A Journey Through Test-Time Memorization, Attentional Bias, Retention, and Online Optimization"

2025年12月