02 机器学习专家本域第 6 篇

偏差-方差权衡

每一个预测误差都能拆成三份：模型太简单、模型太抖动，以及世界本身的随机

定义

偏差-方差分解把模型在某个样本上的期望预测误差拆成三部分：偏差²衡量模型的平均预测偏离真实规律多远（欠拟合的来源），方差衡量模型对训练集扰动的敏感程度（过拟合的来源），不可约误差是数据本身噪声造成的、任何模型都无法消除的下限。经典理论认为前两者此消彼长，构成一条 U 形误差曲线。

直观理解

想象一群射手瞄同一个靶心。偏差是整组弹孔偏离靶心的距离——瞄错方向，再稳也没用；方差是弹孔彼此之间的散布——手抖得厉害，平均再准也打不中。靶纸本身还有无法消除的抖动（不可约误差）。好的模型是“既瞄得准、手又稳”，但这两件事常常不能同时做到。

图 1

期望泛化误差的分解：偏差²、方差与不可约噪声各占一份，三者相加才是总误差

图 2

双下降现象（示意）：随模型复杂度上升，测试误差先降后升，越过插值阈值后再次下降——经典 U 形曲线被打破

01
偏差：模型的系统性偏离
用不同训练集训练同一个模型族，看它们的平均预测离真实函数有多远。模型太简单（如用直线拟合曲线）时偏差大，导致欠拟合。
02
方差：模型的抖动
看这些预测彼此之间有多分散。模型太复杂时，训练集里换掉几个样本，学到的函数就大变样，方差大，导致过拟合。
03
不可约误差：数据的上限
即使拿到真实函数，只要标签带噪声，误差也不会归零。这是问题的内在下限，与模型无关，也无法通过调模型消除。
04
权衡与反例
传统结论是复杂度升高时偏差降、方差升，总误差呈 U 形。但现代过参数化模型（参数量远超样本数）却出现“双下降”——误差先降后升，又在插值点之后重新下降。

E[(y − f̂(x))²] = Bias²(f̂) + Var(f̂) + σ²

期望泛化误差的三项分解：偏差平方 + 方差 + 不可约噪声，三者相加才是总误差。