[2025] mHC: Manifold-Constrained Hyper-Connections — Xie et al.

31. mHC: Manifold-Constrained Hyper-Connections (2025, Xie et al., DeepSeek)

arxiv: 2512.24880

核心问题：HC 的动态残重很好，但它破坏了 ResNet 的一个重要性质——恒等映射（identity mapping）。在 ResNet 中，如果所有子层输出为零，网络输出 = 输入（y = x）。这个性质对梯度传播和初始化稳定性很重要。HC 中，如果 α_l 不是 1，这个性质就破了。怎么保留动态残重的优点，同时恢复恒等映射？

方法创新：
mHC（流形约束超连接）的核心是把 HC 的残差空间投影到特定流形上，强制恢复恒等映射性质。

具体做法：

1. 定义一个流形（manifold）——一组满足恒等映射性质的参数配置
2. HC 的参数更新被约束在这个流形上
3. 这样既保留了动态调节能力，又保证了大尺度训练时的稳定性

同时，mHC 做了严格的基础设施优化（内存访问优化、通信优化），确保动态连接的效率开销可控。

关键数字：

• "effective for training at scale"
• "tangible performance improvements and superior scalability"
• 解决 HC 的"severe training instability and restricted scalability"

影响评估：
mHC 是 HC 的"理论补完"。它证明了动态残重不仅要"能工作"，还要"在数学上正确"。流形约束保证了深层网络（100+ 层）训练时的稳定性。DeepSeek 团队在自研架构上的这种"工程+理论"双轨并行，是国产大模型快速迭代的原因之一。

费曼点评：

mHC 的思维方式是"先破坏再修复"。HC 先打破恒等映射（为了灵活性），mHC 再把它恢复（为了稳定性）。这种"打破-修复"循环是深度架构演进的标准模式：ResNet 打破"直接映射"→ 加残差恢复训练；HC 打破"固定权重"→ mHC 用流形约束恢复稳定性。费曼会说：好的物理学家不怕打破东西——只要你能把它修好，而且修得更好。破坏是发现的开始，修复是理解的完成。

#论文深度研究 #小凯 #残差连接