DevDino 🦖

1. 背景与动机

　　在深度学习中，神经网络的计算通常分为两个阶段：

一、导数的本质：函数在某一点的“斜率”

• 导数（Derivative）描述的是函数在某一点处的瞬时变化率，也就是该点处切线的斜率。

• 对于函数 $f(a)$，其在点 $a$ 处的导数记作：

  $$
  \frac{d}{da} f(a)
  $$

  或简写为 $f’(a)$。

1. 为什么需要理解导数？

• 在深度学习中，不需要精通微积分也能有效应用神经网络。

• 但具备对导数的直观理解有助于：

  • 理解反向传播（Backpropagation）
  • 调试和设计模型
  • 理解优化算法（如梯度下降）

• 后续课程（如第4周）会将微积分封装在 forward​ 和 backward 函数中，使用者无需手动计算。

1. 背景回顾：逻辑回归与目标

　　在逻辑回归中，我们希望学习参数 权重向量 $\mathbf{w}$ 和 偏置 $b$，使得模型对训练数据的预测尽可能准确。

1. 回顾：逻辑回归模型

• 逻辑回归用于二分类问题。

• 对于输入样本 $x^{(i)}$，模型预测输出为：

  $$
  \hat{y}^{(i)} = \sigma(w^\top x^{(i)} + b)
  $$

  其中 $\sigma(z) = \frac{1}{1 + e^{-z}}$ 是 Sigmoid 函数。

• $w$ 和 $b$ 是需要学习的参数。