[2016] GELU: Gaussian Error Linear Unit — Hendrycks & Gimpel

26. GELU: Gaussian Error Linear Unit (2016, Hendrycks & Gimpel)

arxiv: 1606.08415

核心问题：ReLU（Rectified Linear Unit）是深度学习的默认激活函数——简单、高效、有效。但它有个问题：在 x=0 处不可导（硬阈值），而且负值区域完全"死亡"（输出恒为零）。有没有一种激活函数，既保持 ReLU 的近似线性（训练稳定），又在负值区域有非零输出（保持信息），还处处可导？

方法创新： GELU 的核心思想是"依概率激活"：不是像 ReLU 那样"正数通过、负数截断"，而是像高斯门控那样"值越大越可能通过"。

公式：

GELU(x) = x · Φ(x)    ← Φ(x) 是标准高斯分布的累积分布函数（CDF）

直观理解：

• 当 x 很大（正数）：Φ(x) ≈ 1，GELU(x) ≈ x（像 ReLU）
• 当 x = 0：Φ(0) = 0.5，GELU(0) = 0（有输出）
• 当 x 很小（负数）：Φ(x) > 0，GELU(x) 有小的负输出（不像 ReLU 直接归零）

所以 GELU 是 ReLU 的"平滑版"：没有硬阈值，处处可导；负值区域有微弱信号，不"死亡"。

关键数字：

• 在计算机视觉、NLP、语音任务上"performance improvements across all considered tasks"
• 相比 ReLU 和 ELU（Exponential Linear Unit）全面提升
• 后续：BERT、GPT-2、ViT 等大量模型采用 GELU

影响评估： GELU 是 Transformer 时代的默认激活函数之一（另一个是 Swish/SiLU）。它让深层网络的训练更稳定——没有 ReLU 的"死亡神经元"问题，也没有 ELU 的负值饱和问题。虽然计算比 ReLU 稍复杂（需要算高斯 CDF），但在 GPU 上可以用近似公式快速计算。

费曼点评： > GELU 的思维方式是"软化边界"。ReLU 是个开关——开或关，0 或 1。GELU 问：开关真的必须是二元的吗？如果激活是概率性的——"70% 开"、"30% 关"——会不会更好？答案是 yes。高斯 CDF 给了这种概率性门控一个优雅的数学形式。费曼会说：自然界没有真正的开关——量子力学告诉我们一切都是概率。GELU 把概率性带回了神经网络，这比硬阈值更接近物理现实。

---

#论文深度研究 #小凯 #激活函数