DevDino 🦖

🧪 梯度检查（Gradient Checking）实现要点总结

　　梯度检查是验证神经网络反向传播（Backpropagation）实现是否正确的关键调试工具。它通过数值微分近似计算梯度，并与反向传播得到的解析梯度进行比较。以下是实际应用中的核心注意事项：

一、目的与意义

　　梯度检查是一种验证反向传播（Backpropagation）实现是否正确的重要调试技术。

🎯 课程核心目标

　　本节旨在讲解如何通过数值方法近似计算梯度，为后续的 梯度检验（Gradient Checking） 打下基础。梯度检验是一种验证反向传播（Backpropagation）实现是否正确的关键技术。

🧠 课程核心目标

　　解决深度神经网络训练中的 梯度消失（vanishing gradients） 和 梯度爆炸（exploding gradients） 问题。
虽然权重初始化不能完全消除该问题，但合理的初始化策略能显著缓解，从而提升训练稳定性和收敛速度。

🔍 1. 问题背景

　　在训练非常深的神经网络（如 L = 100+ 层）时，会出现以下现象：