【深度学习网络如何提高泛化性的自我理解】

只谈情不闲聊 提交于 2020-01-25 09:07:34

深度学习网络如何提高泛化性的自我理解:

1. 采用dropout;

2. 使用L1和L2正则化;

    L1是权重和的绝对值作为惩罚项,目的是提高减小权重,提高网络稀疏性;L2是权重平方和然后平方根为惩罚项,目的是减小权重,抑制个别权重的影响;

3. BN;

  BN主要是控制输入的分布,对其进行归一化然后拉伸和平移还原输入特征,这样可以让每一层的训练都从相似的起点出发,而对权重进行拉伸,等价于对特征进行拉伸,在输入层等价于数据增强。

4. 数据拓展

参考:https://www.sohu.com/a/231450369_314987

在推荐一个很nb的链接:https://www.jianshu.com/p/4bad38fe07e6

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!