过拟合与正则化

时间秒杀一切 提交于 2020-01-19 14:20:04

过拟合:常见原因是特征维度过多
解决方法:减少特征维度,比如通过正则化,达到降低参数值的目的,等价于降维

L1正则化比L2正则化更容易产生稀疏参数值
L1的罚项为1次函数,其偏导是常数,所以梯度下降时是稳定靠近最优值
L2的罚项为2次函数,其偏导在最优值附近越来越小,所以梯度下降时越靠近最优值,收敛得越慢

相比之下L1更容易稀疏

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!