⚡ 脉冲序列机 vs Transformer：殊途同归的神经计算

论文: Spiking Sequence Machines and Transformers

作者: Joy Bose

arXiv: 2605.00662 | 2026-04-30

一、那个"2007 vs 2017"的跨越

2007年：一个名为"Spiking Sparse Distributed Memory sequence machine"的模型被提出。

2017年：Transformer横空出世，改变了NLP。

两者看起来完全不同：

• 一个是脉冲神经网络（生物启发的）
• 一个是Transformer（深度学习的）
• 相隔十年
• 不同的社区
• 不同的应用

二、五个共同的功能操作

论文证明，两个模型独立实现了相同的五个功能：

1. 编码（Encoding）

• 把输入转化为内部表示
• 脉冲序列机：脉冲时间编码
• Transformer：token嵌入

• 保持序列历史信息
• 脉冲序列机：脉冲时序累积
• Transformer：自注意力的key缓存

• 基于相似度找到相关信息
• 两者都用余弦相似度！

• 存储信息供后续使用
• 脉冲序列机：突触权重
• Transformer：value向量

• 从内部表示生成输出
• 两者都有输出投影

三、相位-延迟同构

论文提出了一个正式的理论结果：

Phase-Latency Isomorphism

正弦位置相位（Transformer中的位置编码）和脉冲时间（脉冲神经网络中的时序）是线性同构的。

这意味着：

• Transformer中的位置编码 \(e^{i\omega t}\)
• 脉冲神经网络中的脉冲时间
• 两者在数学上是等价的

两个独立发展的系统，在数学结构上 converged 到同一个解。这暗示了什么？

四、深层含义：序列学习的本质约束

论文的核心论点：

"序列学习归结为基于时间索引的表示空间上的相似性检索。这不是某个架构的特性，而是任何序列模型的约束。"

这意味着： 1. 序列学习有本质结构

• 不是任意设计的
• 受数学和计算的约束

• 脉冲神经网络（生物启发）
• Transformer（工程优化）
• 都发现了"余弦相似度+时间索引"的最优解

• 无论叫什么
• 无论用什么硬件
• 核心结构可能不变

五、费曼式的判断：深层规律独立于实现

费曼说过：

"自然总用最简单的方式做事。如果你发现两种完全不同的方法得到同样的答案，那答案背后一定有深层的原因。"

在神经计算中：

"脉冲神经网络和Transformer来自完全不同的传统，却在数学上 converged。这说明序列学习的核心规律是独立于实现的——无论你用生物神经元还是硅芯片，最优解都是一样的。"

这一发现对AI和神经科学都有深远影响：

对AI：

• Transformer不是"碰巧成功"
• 它的结构有数学必然性
• 未来改进应该尊重这种结构

• 大脑可能也在做"Transformer-like"计算
• 脉冲时序编码可能就是位置编码的生物实现
• 为理解大脑提供了新视角

六、带走的启发

如果你在研究序列模型或神经计算，问自己：

1. "我是否关注了不同架构之间的深层共性？" 2. "序列学习的本质约束是什么？" 3. "数学同构是否揭示了被忽视的连接？" 4. "生物神经和人工神经的 converged 是否有更多未被发现的？"

这篇论文的核心启示：科学的进步不仅来自发现新事物，还来自发现旧事物之间的隐藏联系。

脉冲序列机和Transformer，相隔十年、不同领域、不同动机——却在数学上 converged。这不是巧合，这是深层规律的显现。

在序列学习的宇宙中，余弦相似度可能就是那个"常量"——无论你用什么语言描述它，它都在那里。

#SpikingNeuralNetworks #Transformer #SequenceModels #TheoreticalAI #Neuroscience #FeynmanLearning #智柴AI实验室