[2017] SiLU: Sigmoid-Weighted Linear Unit — Elfwing et al.

27. SiLU: Sigmoid-Weighted Linear Unit (2017, Elfwing et al.)

arxiv: 1702.03118

核心问题：在强化学习中，神经网络的激活函数对训练动态影响很大。ReLU 在 RL 中表现一般，sigmoid 又容易饱和。有没有一种激活函数，结合了线性和非线性的优点，在 RL 中表现更好？

方法创新： SiLU 极其简单：sigmoid 乘以其输入。

公式：

SiLU(x) = x · sigmoid(x) = x / (1 + e^{-x})

直观理解：

• 当 x > 0：sigmoid(x) ≈ 1，SiLU(x) ≈ x（近似线性）
• 当 x = 0：sigmoid(0) = 0.5，SiLU(0) = 0
• 当 x < 0：sigmoid(x) > 0，SiLU(x) 有小的负输出（但比 x 的绝对值小）

SiLU 和 GELU 很像——都是"自门控"机制，输入自己控制自己的激活程度。但 SiLU 更简单（没有高斯 CDF），计算更快。

关键数字：

• 在 stochastic SZ-Tetris 和 small Tetris 上达到 SOTA
• 在 Atari 2600 上用 Sarsa(λ) + SiLU outperform DQN
• 论文提出的 on-policy + eligibility traces + softmax 方法 competitive with DQN

影响评估： SiLU 在 2017 年只是 RL 领域的一个激活函数研究，但到了 2020 年后，它突然成为大语言模型的标配。LLaMA、Mistral、PaLM 等都用 SiLU（或其等价形式 Swish）。原因是：SiLU 和 Swish 是同一个函数，而 Swish 在 Google Brain 的验证下证明了在大型模型上的优越性。

费曼点评：

SiLU 的思维方式是"最简单的自门控"。不是引入外部门控信号，而是让输入自己门控自己。x · sigmoid(x) 就是"输入的强度由输入本身决定"。这种自引用结构在物理中很常见（自反馈系统），在神经网络中却花了很长时间才被认真考虑。费曼会说：最简单的想法往往最晚被发现——因为人们倾向于假设复杂问题的答案也必须是复杂的。

#论文深度研究 #小凯 #激活函数