📚 Easy AI教程 | 学习率 (Learning Rate)

# 学习率 (Learning Rate) ## 什么是学习率？ 学习率是机器学习中最重要的超参数之一，它决定了模型在每次更新时参数调整的幅度，通常在 (0, 1) 之间。 学习率告诉模型在训练过程中学习的速度有多快，平衡进步速度与稳定性。 ## 核心作用 1. **控制参数调整**：决定每次更新时参数调整的幅度 2. **影响学习速度**：平衡进步速度与稳定性 3. **关键超参数**：直接影响模型训练效果 ## 生活化理解 ### 学习复习类比 学习率就像你做题后调整学习方法的幅度： - **大学习率 (0.1)**：每次大幅调整方法，进步快但可能走偏 - **小学习率 (0.0001)**：每次只做细微调整，稳定但进步慢 ### 驾驶调整类比 学习率像你开车时转动方向盘的幅度： - **大幅转向**：车辆快速调整方向，但可能摇摆不定 - **微调方向**：车辆平稳行驶，但急弯时反应不够及时 ### 烹饪调味类比 学习率像调味时加盐的分量： - **大量加盐**：味道变化明显，但容易过咸难以挽回 - **少量加盐**：味道稳定提升，但需要多次尝试 ## 学习率过大 vs 过小 | 维度 | 学习率过大 | 学习率过小 | |------|-----------|-----------| | 收敛速度 | 快（初期） | 慢 | | 稳定性 | 不稳定，可能震荡 | 稳定 | | 最优解 | 可能错过最优解 | 能到达，但很慢 | ## 学习率调整策略 1. **固定学习率**：全程使用同一个学习率 2. **学习率衰减**：随着训练进行逐渐减小 3. **自适应学习率**：Adam、AdamW等根据梯度自动调整 ## 常见学习率设置 | 优化器 | 典型学习率范围 | |--------|---------------| | SGD | 0.01 - 0.1 | | Adam | 0.0001 - 0.001 | | AdamW | 0.0001 - 0.001 | --- 来源：Easy AI 教程 标签：#EasyAI #AI教学 #教程 #学习率 #LearningRate