DevDino 🦖

一、核心目标

• 理解如何在 L 层深度神经网络 中执行 前向传播（Forward Propagation）
• 掌握 单个样本 与 整个训练集（向量化） 两种情况下的计算方式
• 明确为何在实现中 必须使用 for 循环（无法完全向量化层间计算）

一、什么是深层神经网络？

• Logistic 回归：可视为 1 层神经网络（只有输出层，无隐藏层），属于“浅层模型”。

• 单隐藏层神经网络：共 2 层（1 个隐藏层 + 1 个输出层）。

• 深层神经网络（Deep Neural Network） ：具有 多个隐藏层（通常 ≥2），例如：

  • 2 个隐藏层 → 3 层网络
  • 5 个隐藏层 → 6 层网络

一、Ian Goodfellow 的学术成长路径

1. 转向 AI 的契机

一、为什么不能将权重初始化为零？

　　在逻辑回归（Logistic Regression）中，将权重 $\mathbf{w}$ 初始化为零是可以接受的。
但在神经网络中，如果将所有权重初始化为零，会导致一个严重问题：对称性问题（Symmetry Problem） 。

一、背景：从逻辑回归说起

　　在逻辑回归中，我们有如下前向传播流程：