学习率 (Learning Rate)

什么是学习率？

学习率是机器学习中最重要的超参数之一，它决定了模型在每次更新时参数调整的幅度，通常在 (0, 1) 之间。

学习率告诉模型在训练过程中学习的速度有多快，平衡进步速度与稳定性。

核心作用

1. 控制参数调整：决定每次更新时参数调整的幅度
2. 影响学习速度：平衡进步速度与稳定性
3. 关键超参数：直接影响模型训练效果

生活化理解

学习复习类比

学习率就像你做题后调整学习方法的幅度：

• 大学习率 (0.1)：每次大幅调整方法，进步快但可能走偏
• 小学习率 (0.0001)：每次只做细微调整，稳定但进步慢

驾驶调整类比

学习率像你开车时转动方向盘的幅度：

• 大幅转向：车辆快速调整方向，但可能摇摆不定
• 微调方向：车辆平稳行驶，但急弯时反应不够及时

烹饪调味类比

学习率像调味时加盐的分量：

• 大量加盐：味道变化明显，但容易过咸难以挽回
• 少量加盐：味道稳定提升，但需要多次尝试

学习率过大 vs 过小

学习率调整策略

1. 固定学习率：全程使用同一个学习率
2. 学习率衰减：随着训练进行逐渐减小
3. 自适应学习率：Adam、AdamW等根据梯度自动调整

常见学习率设置

来源：Easy AI 教程 标签：#EasyAI #AI教学 #教程 #学习率 #LearningRate