17 向量化逻辑回归的梯度计算（Vectorizing Logistic Regression's Gradient Computation）

一、背景回顾

　　在上一节中，我们已经学会了如何通过向量化一次性计算整个训练集上的预测值：

• 对于 $m$ 个训练样本，输入矩阵为：

  $$
  X = \begin{bmatrix}
  | & | & & | \
  x^{(1)} & x^{(2)} & \cdots & x^{(m)} \
  | & | & & |
  \end{bmatrix} \in \mathbb{R}^{n \times m}
  $$

  其中每个 $x^{(i)} \in \mathbb{R}^n$ 是一个样本的特征向量。

• 参数向量 $w \in \mathbb{R}^n$，偏置标量 $b \in \mathbb{R}$。

• 线性输出（logits）为：

  $$
  Z = w^\top X + b \quad \text{（在 NumPy 中自动广播）}
  $$

  注意：这里 $b$ 是标量，但 NumPy 会将其广播到长度为 $m$ 的向量。

• 激活（预测概率）为：

  $$
  A = \sigma(Z) = \frac{1}{1 + e^{-Z}} \in \mathbb{R}^{1 \times m}
  $$

• 真实标签为：

  $$
  Y = \begin{bmatrix} y^{(1)} & y^{(2)} & \cdots & y^{(m)} \end{bmatrix} \in \mathbb{R}^{1 \times m}
  $$

---

二、目标：向量化梯度计算

　　逻辑回归的损失函数是交叉熵损失，对单个样本 $(x^{(i)}, y^{(i)})$ 的梯度为：

$$
\begin{aligned}
dz^{(i)} &= a^{(i)} - y^{(i)} \
dw^{(i)} &= x^{(i)} dz^{(i)} \
db^{(i)} &= dz^{(i)}
\end{aligned}
$$

　　传统实现需要对 $i = 1$ 到 $m$ 循环累加。现在我们要完全向量化，去掉所有显式 for 循环。

---

三、关键步骤：定义向量化的中间变量

1. 定义误差向量 $dZ$

　　将所有样本的 $dz^{(i)}$ 拼成一行向量：

$$
dZ = A - Y = \begin{bmatrix} a^{(1)} - y^{(1)} & a^{(2)} - y^{(2)} & \cdots & a^{(m)} - y^{(m)} \end{bmatrix} \in \mathbb{R}^{1 \times m}
$$

✅ 一行代码实现（NumPy）：

dZ = A - Y

2. 向量化计算 $db$

　　偏置梯度是所有 $dz^{(i)}$ 的平均值：

$$
db = \frac{1}{m} \sum_{i=1}^m dz^{(i)} = \frac{1}{m} \cdot \text{np.sum}(dZ)
$$

✅ 一行代码：

db = (1 / m) * np.sum(dZ)

3. 向量化计算 $dw$

　　权重梯度为：

$$
dw = \frac{1}{m} \sum_{i=1}^m x^{(i)} dz^{(i)}
$$

　　注意到 $X \in \mathbb{R}^{n \times m}$，而 $dZ^\top \in \mathbb{R}^{m \times 1}$，因此：

$$
dw = \frac{1}{m} X \cdot dZ^\top \in \mathbb{R}^{n \times 1}
$$

✅ 一行代码：

dw = (1 / m) * np.dot(X, dZ.T)

🔍 为什么成立？

矩阵乘法展开：

$$
X \cdot dZ^\top = x^{(1)} dz^{(1)} + x^{(2)} dz^{(2)} + \cdots + x^{(m)} dz^{(m)}
$$

正好是 $dw$ 的累加形式。

---

四、完整向量化逻辑回归的一次梯度下降迭代

# 前向传播
Z = np.dot(w.T, X) + b        # shape: (1, m)
A = sigmoid(Z)                # shape: (1, m)

# 反向传播（梯度计算）
dZ = A - Y                    # shape: (1, m)
dw = (1 / m) * np.dot(X, dZ.T)  # shape: (n, 1)
db = (1 / m) * np.sum(dZ)     # scalar

# 参数更新
w = w - alpha * dw
b = b - alpha * db

✅ 无任何 for 循环！ 仅需矩阵运算即可完成整个训练集的前向+反向传播。

---

五、注意事项

• 外层循环无法避免：虽然单次梯度下降可完全向量化，但若要运行 $T$ 次迭代（如 1000 次），仍需一个外层 for 循环遍历迭代次数。
• 广播机制（Broadcasting） ：在 Z = w.T @ X + b​ 中，标量 b​ 被自动广播到 (1, m) 形状，这是 NumPy 的强大特性，将在下一节详细讲解。

---

六、总结

步骤	非向量化（低效）	向量化（高效）
前向传播	循环计算每个 $a^{(i)}$	一次矩阵运算 $A = \sigma(w^\top X + b)$
梯度 $dZ$	循环计算 $a^{(i)} - y^{(i)}$	一行：dZ = A - Y
梯度 $dw$	循环累加 $x^{(i)} dz^{(i)}$	一行：dw = (1/m) * X @ dZ.T
梯度 $db$	循环累加 $dz^{(i)}$	一行：db = (1/m) * sum(dZ)

💡 核心思想：用矩阵运算代替 for 循环，大幅提升计算效率，尤其在 GPU 上效果显著。