基础理论
bias-variance tradeoff（偏差和方差的权衡）
对于线性回归，目标方程式可以写作：
对y的估计可以写成：
就是对自变量和因变量之间的关系进行的估计。一般来说，我们无法得到自变量和因变量之间的真实关系f(x)。对其之间的关系进行假设，由于存在误差，所以无法得到真正的关系。
通常情况下会使用一组训练数据，使用某个算法进行学习，然后学得一个模型，这个模型使损失函数最小。
损失函数为：
由于模型需要有泛化能力，也就是说需要模型在所有数据上都表现的良好。假设具有全部的数据，将这些数据分成N组，将这N组数据在模型上进行测试，就会得到N个不同的损失函数，如果这些损失函数的平均值最小，也就是真实数值和估计数值之间的差的平方的期望值最小，那么该模型就是理想模型。
所以真实数值和估计数值之间的差的平方的期望值公式如下：
bias（偏差）
偏差是指由于错误的假设导致的误差，比如说我们假设有一个自变量能影响因变量，但其实有三个；又比如我们假设自变量和因变量之间是县西宫关系，但其实是非线性关系。其描述的是期望估计值和真实规律之间的差异。
variance（方差）
方差是指通过N组训练数据学习拟合出来的结果之间的差异。其描述的是估计值与平局估计值之间差异平方的期望。
来源：CSDN
作者：song吖
链接：https://blog.csdn.net/qq_35382702/article/details/103809099