- 步子哥的博客

🛤️ 残差连接：信息流的“单行道”

Transformer模型就像一座繁忙的太空城市，每层是一个处理信息的站点。残差连接是站点间的信息通道，但它像单行道，信息只能按固定路径流动。这保证了训练稳定，却限制了层间交流，阻碍了深层网络的潜力发挥。

MUDDFormer则像为城市铺设了多维高速公路，信息可动态选择路径，畅通无阻。

MUDD连接的核心是“多路”和“动态”。它为每个序列位置和输入流（查询、键、值、残差）生成独特权重，就像给每辆信息“车”配上智能导航，实时选择最佳路线。

MUDD连接通过深度聚合模块（DA）实现跨层信息融合，公式如下：

[ Xl = \mathrm{DA}(X1, X2, \dots, X{l-1}; W_l) ]

其中，\(Xl\) 是第 \(l\) 层输出，\(\mathrm{DA}\) 根据前 \(l-1\) 层状态和动态权重 \(Wl\) 聚合信息。权重随序列位置和输入流变化，类似跨层的注意力机制。

这种解耦输入流的设计，让每种信息走专用通道，避免混杂，提升模型表现力。

MUDDFormer将MUDD连接融入Transformer，打造高效模型。其创新包括：

这些特性让MUDDFormer在语言和视觉任务中表现出色。

MUDDFormer在语言预训练中表现卓越。在Pile数据集上，405M到1.4B参数的MUDDFormer始终优于Transformer++等基线。84M的MUDDFormer甚至匹敌1.99倍计算量的Transformer++，如同小型飞船超越巨型战舰！

MUDDFormer在零样本和五样本任务（如FLAN、PQA）中全面领先，展现出强大的上下文学习能力。

在ImageNet-1k分类任务中，MUDDViT-S/16以7%参数增加，显著降低验证损失，提升准确率，证明MUDD连接的通用性。

传统Transformer深层表示趋同，类似信息“堵车”。MUDDFormer通过解耦和动态聚合，保持输入多样性，尤其在值流中效果显著。

传统模型注意力常集中于初始标记，形同“黑洞”。MUDDFormer优化注意力模式，分散关注更多标记，提升信息捕捉能力。

MUDDFormer训练吞吐量略低于Transformer++，但推理速度几乎无损，额外内存仅20%-30%，兼顾性能与实用性。

MUDDFormer不仅提升性能，还降低计算成本，推动小型化模型发展。其结构化注意力模式也为AI可解释性研究开辟新路。它可能成为下一代AI模型的标配。