在深度学习中对正则化的直观认识
作者|Kelvin Lee 编译|Flin 来源|towardsdatascience 获得对正则化的直观认识 在机器学习中,正则化是一种用来对抗高方差的方法——换句话说,就是模型学习再现数据的问题,而不是关于问题的潜在语义。与人类学习类似,我们的想法是构建家庭作业问题来测试和构建知识,而不是简单的死记硬背:例如,学习乘法表,而不是学习如何乘。 这种现象在神经网络学习中尤为普遍——学习能力越强,记忆的可能性就越大,这取决于我们这些实践者如何引导深度学习模型来吸收我们的问题,而不是我们的数据。你们中的许多人在过去都曾遇到过这些方法,并且可能已经对不同的正则化方法如何影响结果形成了自己的直观认识。为你们中那些不知道的人(甚至为那些知道的人!)本文为正则化神经网络参数的形成提供了直观的指导。将这些方面可视化是很重要的,因为人们很容易将许多概念视为理所当然;本文中的图形和它们的解释将帮助你直观地了解,当你增加正则化时,模型参数的实际情况。 在本文中,我将把 L2 和 dropouts 作为正则化的标准形式。我不会讨论其他方法(例如收集更多数据)如何改变模型的工作方式。 所有的图形和模型都是用标准的科学Python堆栈制作的: numpy 、 matplotlib 、 scipy 、 sklearn ,而神经网络模型则是用PyTorch构建的。 开发复杂函数