09 可避免偏差（Avoidable Bias）

09 可避免偏差（Avoidable Bias）

一、背景：偏差-方差权衡的传统视角

在传统机器学习中，我们将泛化误差（Generalization Error）分解为：

\[\text{泛化误差} = \text{偏差} + \text{方差} + \text{不可约误差}\]

但在深度学习时代，尤其是当模型容量（如大型神经网络）非常大时，训练误差可以被压得极低，此时传统的“高偏差 vs 高方差”二分法不再足够精细。我们需要更精确地判断：当前模型的问题到底出在“欠拟合”还是“过拟合”？

为此，引入 人类水平性能（Human-level Performance, HLP） 作为 贝叶斯最优错误率（Bayes Error Rate, $E_{\text{Bayes}}$ ） 的实用估计。

关键假设：对于许多感知任务（如图像分类），人类表现接近贝叶斯最优，即

\[E_{\text{human}} \approx E_{\text{Bayes}}\]

---

二、核心概念：可避免偏差（Avoidable Bias）

定义

• 可避免偏差：指当前模型在训练集上的错误率与贝叶斯错误率之间的差距。
• 它代表了理论上还能通过改进模型在训练集上的表现而减少的误差部分。

数学表达为：

\[\text{可避免偏差} = \text{训练错误率} - E_{\text{Bayes}} \approx \text{训练错误率} - E_{\text{human}}\]

注意：若训练错误率 这一框架比传统偏差-方差分解更适用于现代深度学习系统。

---

五、实践指导：如何选择优化策略？

情况	判断依据	推荐策略
可避免偏差 » 方差	训练错误率远高于人类水平	→ 增强模型能力：• 更大网络• 更长训练• 更好优化器• 特征工程
方差 » 可避免偏差	训练错误率接近人类水平，但开发错误率显著更高	→ 减少过拟合：• 正则化（L2, Dropout）• 更多训练数据• 数据增强• 早停（Early Stopping）

---

六、重要注意事项

1. 人类水平 ≠ 贝叶斯错误率，但常是其良好近似
   尤其在计算机视觉、语音识别等人类擅长的任务中。
2. 不要追求训练错误率低于人类水平
   若 $E_{\text{train}} < E_{\text{human}}$，很可能是在拟合标签噪声或数据瑕疵，反而损害泛化。
3. “可避免偏差”并非标准术语，但极具启发性
   它强调：偏差是否“值得”减少，取决于理论下限。

---

七、总结图示（文字版）

[贝叶斯错误率] ——(可避免偏差)——> [训练错误率] ——(方差)——> [开发错误率]
       ↑                               ↑                      ↑
   理论最优                        模型在训练集表现         模型泛化表现

• 左段（可避免偏差）大？→ 改进训练性能
• 右段（方差）大？→ 改进泛化能力

---

八、后续思考方向

• 如何准确估计 $E_{\text{Bayes}}$？（多人标注、专家水平）
• 在非感知任务（如推荐系统）中，人类水平是否仍适用？
• 当人类水平本身有争议时，如何设定合理目标？