[一起面试AI]NO.5过拟合、欠拟合与正则化是什么?
【推荐阅读】微服务还能火多久?>>> Q1 过拟合与欠拟合的区别是什么,什么是正则化 欠拟合指的是模型不能够再训练集上获得足够低的 「 训练误差 」 ,往往由于特征维度过少,导致拟合的函数无法满足训练集,导致误差较大。 过拟合指的是模型训练误差与测试误差之间差距过大;具体来说就是模型在训练集上训练过度,导致泛化能力过差。 「 所有为了减少测试误差的策略统称为正则化方法 」 ,不过代价可能是增大训练误差。 Q2 解决欠拟合的方法有哪些 降低欠拟合风险主要有以下3类方法。 加入新的特征,对于深度学习来讲就可以利用因子分解机、子编码器等。 增加模型复杂度,对于线性模型来说可以增加高次项,对于深度学习来讲可以增加网络层数、神经元个数。 减小正则化项的系数,从而提高模型的学习能力。 Q3 防止过拟合的方法主要有哪些 「 1.正则化 」 正则化包含L 1 正则化、L 2 正则化、混合L 1 与L 2 正则化。 「 L 1 正则化 」 目的是减少参数的绝对值总和,定义为: 「 L 2 正则化 」 目的是减少参数平方的总和,定义为: **混合L 1 与L 2 **正则化是希望能够调节L 1 正则化与L 2 正则化,定义为: 因为最优的参数值很大概率出现在 「 坐标轴 」 上,这样就会导致某一维的权重为0,产生 「 稀疏权重矩阵 」 。而L 2 正则化的最优的参数值很小概率出现在坐标轴上