深度学习网络如何提高泛化性的自我理解:
1. 采用dropout;
2. 使用L1和L2正则化;
L1是权重和的绝对值作为惩罚项,目的是提高减小权重,提高网络稀疏性;L2是权重平方和然后平方根为惩罚项,目的是减小权重,抑制个别权重的影响;
3. BN;
BN主要是控制输入的分布,对其进行归一化然后拉伸和平移还原输入特征,这样可以让每一层的训练都从相似的起点出发,而对权重进行拉伸,等价于对特征进行拉伸,在输入层等价于数据增强。
4. 数据拓展
参考:https://www.sohu.com/a/231450369_314987
在推荐一个很nb的链接:https://www.jianshu.com/p/4bad38fe07e6
来源:CSDN
作者:树莓派派酒
链接:https://blog.csdn.net/qq_35054151/article/details/103815242