🧠 课程主题： 　　本课程讲解如何对具有一个隐藏层的神经网络实现梯度下降（Gradient Descent），核心在于前向传播（Forward Propagation）和反向传播（Backpropagation）的计算流程。 🔢 网络结构与参数维度 　　假设： 输入特征维度：$n^{(0)} = n_x$ 隐藏层单元数：$n^{(1)} = n_1$ 输出层单元数（...

🧠 课程主题： 　　在实现反向传播（Backpropagation） 时，我们需要计算激活函数对输入 $z$ 的导数（即斜率）。本课程介绍了三种常用激活函数（Sigmoid、Tanh、ReLU 及 Leaky ReLU）的导数形式及其在实际编程中的高效计算方式。 1. Sigmoid 激活函数 定义： [a = g(z) = \sigma(z) = \frac{1}{1 + e^...

🧠 课程核心问题 为什么神经网络必须使用非线性激活函数？ 　　简短回答：如果所有层都使用线性激活函数（即恒等函数），那么无论网络有多少隐藏层，整个网络等价于一个单层线性模型，无法学习复杂的非线性关系。 🔍 详细解释 1. 假设使用线性激活函数 　　考虑一个含一个隐藏层的简单神经网络： 输入：$\mathbf{x} \in \mathbb{R}^{n_x}$ ...

在构建神经网络时，一个非常重要的设计选择是隐藏层和输出层应使用哪种激活函数。激活函数决定了神经元如何将加权输入 $z$ 转换为输出激活值 $a$。 1. 激活函数的作用 引入非线性，使神经网络能够拟合复杂函数。 若没有非线性激活函数，多层网络等价于单层线性模型，无法表达复杂模式。 2. 常见激活函数详解 (1) Sigmoid 函数（逻辑函数） 公式...

一、背景与动机 　　在训练神经网络时，如果我们对每个训练样本单独进行前向传播（forward propagation），会使用如下形式的循环： for i in range(m): z1[i] = W1 @ x[i] + b1 a1[i] = g(z1[i]) ... 　　但这种逐样本处理的方式效率低下。向量化（vectorization） 的目标是：一次性...

1. 背景回顾：单个样本的前向传播 　　在上一节课中，我们学习了如何对单个训练样本 $x^{(i)}$ 进行前向传播，计算一个含一个隐藏层的神经网络的输出 $\hat{y}^{(i)} = a^{[2]!(i)}$。其计算步骤如下： [\begin{aligned} z^{[1]!(i)} &= W^{[1]} x^{(i)} + b^{[1]} a^{[1]!(i)} &am...

1. 神经网络结构回顾 考虑一个 具有一个隐藏层 的神经网络： 输入层：3 个特征 → $\mathbf{x} = [x_1, x_2, x_3]^\top \in \mathbb{R}^3$ 隐藏层：4 个神经元（节点） 输出层：1 个神经元（用于二分类，输出 $\hat{y}$） 💡 注：这种网络...

一、神经网络结构概述 　　本节讲解的是一个具有单个隐藏层的前馈神经网络（Feedforward Neural Network）。其结构如下： 输入层（Input Layer） ：包含 3 个输入特征 $x_1, x_2, x_3$。 隐藏层（Hidden Layer） ：包含 4 个神经元（节点）。 输出层（Output Layer） ：包含 1 个神经元，输出预测值 $\...

1. 回顾：逻辑回归（Logistic Regression） 　　在上一周的学习中，我们学习了逻辑回归模型，其计算流程如下： 输入特征向量：$\mathbf{x} \in \mathbb{R}^{n_x}$ 参数：权重 $\mathbf{w} \in \mathbb{R}^{n_x}$，偏置 $b \in \mathbb{R}$ 线性组合： \[z = \ma...

1. 逻辑回归的基本形式 　　在逻辑回归中，我们对输入特征向量 $\mathbf{x} \in \mathbb{R}^n$ 做如下预测： [\hat{y} = \sigma(\mathbf{w}^\top \mathbf{x} + b)] 　　其中： $\mathbf{w} \in \mathbb{R}^n$ 是权重向量； $b \in \mathbb{R}$ 是偏置项； ...