DevDino 🦖

一、为什么需要正则化？

• 问题背景：当神经网络出现过拟合（overfitting） 时，表现为在训练集上表现很好，但在开发集/测试集上误差较大 → 这是典型的高方差（high variance） 问题。

• 解决思路：

  • 获取更多训练数据（可靠但成本高）
  • 使用正则化（Regularization） ：更常用、更经济的方法

一、核心目标

　　系统性地诊断并改进神经网络模型的性能，主要围绕两个关键问题：

一、核心概念：偏差与方差

　　在机器学习中，模型的泛化误差（Generalization Error）可分解为三部分：

一、背景：应用机器学习是一个高度迭代的过程

• 在实际深度学习项目中，你无法在第一次就准确设定所有超参数（如网络层数、每层神经元数量、学习率、激活函数等）。
• 因此，应用机器学习 = 提出想法 → 编码实现 → 实验评估 → 迭代优化。
• 迭代效率 决定了你能否快速找到高性能模型。

🧠 一、核心观点：深度学习 ≠ 人脑

“What does deep learning have to do with the brain? At the risk of giving away the punchline, I would say not a whole lot.”