DevDino 🦖

23 学习率衰减（Learning Rate Decay）

发表于 2026-01-05 本文字数： 791 阅读时长 ≈ 3 分钟

　　在使用 Mini-batch 梯度下降法 时：

发表于 2026-01-02 本文字数： 1k 阅读时长 ≈ 4 分钟

　　在深度学习的发展历程中，许多研究人员提出了新的优化算法，但大多数仅在特定问题上表现良好，缺乏泛化能力。因此，社区对新优化算法持谨慎态度。

发表于 2026-01-02 本文字数： 780 阅读时长 ≈ 3 分钟

发表于 2026-01-02 本文字数： 743 阅读时长 ≈ 3 分钟

　　标准梯度下降在优化具有“狭长椭圆”等高线的损失函数时，会出现剧烈振荡（尤其在垂直方向），导致：

发表于 2026-01-02 本文字数： 888 阅读时长 ≈ 3 分钟

　　在优化算法（如 Momentum、RMSProp、Adam）中，我们经常使用 指数加权平均（Exponentially Weighted Average, EWA） 来平滑序列数据（例如梯度、温度等）。