03 单一数字评估指标（Single Number Evaluation Metric） 🎯 课程核心思想 在机器学习系统开发过程中，快速迭代是提升性能的关键。而要实现快速判断哪个模型/超参数/算法更好，必须依赖一个单一实数评估指标（single real-number evaluation metric） 。 多指标（如查准率 + 查全率、多个地区的错误率）虽然信息丰富，但会阻碍快速决...

02 正交化（Orthogonalization） 一、正交化的核心思想 正交化（Orthogonalization） 是一种系统性调试与优化机器学习模型的方法论。其核心理念是： 每个“控制旋钮”（即调整手段）应尽可能只影响一个目标性能指标，而不干扰其他方面。 这类似于老式电视机上的旋钮： 一个旋钮只调高度， 一个只调宽度， 一个只调梯形校正， 而不是一...

01 为什么是ML策略？（Why ML Strategy?） 1. 什么是ML策略？ 机器学习策略是指在优化和改进机器学习系统时所采取的方法。它帮助你更快速、高效地提升系统的性能，避免走弯路。 2. 启发性例子 以猫分类器为例，假设已经达到了90%的准确率但仍未满足需求。这时可以考虑以下几种改进方法： 收集更多的训练数据。 增加训练集的多样性（如不同姿势的猫咪图片）。 ...

一、核心目标 　　通过一个简单的二次损失函数优化问题，演示 TensorFlow 程序的基本结构，并揭示其如何自动完成： 前向计算（定义损失函数） 反向传播（自动求导） 参数更新（优化器） 　　从而为训练复杂神经网络打下基础。 二、示例问题：最小化一个二次损失函数 　　给定损失函数： [J(w) = w^2 - 10w + 25 = (w - 5)^2] 　...

一、为什么需要深度学习框架？ 　　尽管从零开始用 Python + NumPy 实现神经网络（如前向传播、反向传播、梯度下降等）有助于理解底层原理，但在实际工程中存在明显局限： 难以扩展：实现 CNN、RNN、Transformer 等复杂结构代码量大、易出错； 效率低下：NumPy 在 CPU 上运行，缺乏 GPU 加速、自动并行、内存优化； 重复造轮子：每个项目都要重写...

🧠 一、Softmax 激活函数回顾 　　Softmax 是用于多分类任务（$C \geq 2$）的输出层激活函数，将线性输出 $z^{[L]} \in \mathbb{R}^C$ 转换为概率分布： [a^{[L]} = \text{Softmax}(z^{[L]}) = \frac{e^{z^{[L]}}}{\sum_{j=1}^C e^{z_j^{[L]}}}] 其中 $a^...

一、问题背景：从二分类到多分类 Logistic 回归适用于二分类（输出为 0 或 1）。 当面对 $C$ 个类别（$C \geq 2$）的分类任务时（如猫、狗、小鸡、“其他”），需要使用 Softmax 回归——这是 Logistic 回归在多分类场景下的自然推广。 💡 类别编号通常为 $0, 1, 2, \dots, C-1$。例如 $C=4$ 时，类别为 {0: ...

一、背景与动机 训练阶段：Batch Norm 对每个 mini-batch 中的激活值 $z^{(i)}$ 进行归一化，依赖该 batch 的均值 $\mu$ 和方差 $\sigma^2$。 测试阶段问题： 测试时通常逐样本推理（batch size = 1）； 单个样本无法计算有意义的均值和方差； 因此不能直接使用训练...

一、直观理解：对隐藏层激活值进行归一化，加速训练 　　在传统神经网络中，我们常对输入特征 $x$ 进行归一化（如减去均值、除以标准差），使其具有相近的尺度（例如均值为 0，方差为 1），从而加速优化过程。 Batch Norm 将这一思想推广到每一层的隐藏单元（即中间激活值），使得每一层的输入分布更稳定。 ✅ 关键点：不仅输入 $x$ 需要归一化，隐藏层的激活值 $a^{[l]}$...

一、核心思想 　　Batch Normalization（BN） 是在神经网络的每一层中，在计算线性输出 $z^{[l]}$ 之后、激活函数 $g^{[l]}$ 之前，对 $z^{[l]}$ 进行归一化处理，从而加速训练、提升稳定性并减少对初始化的敏感性。 关键位置：BN 插入在 $z^{[l]} = W^{[l]} a^{[l-1]} + b^{[l]}$ 和 $a^{[l]}...