自适应学习

本文转载自： https://www.cnblogs.com/neopenx/p/4768388.html 作者：neopenx 转载请注明该声明。 Reference： ADADELTA: An Adaptive Learning Rate Method 超参数 超参数（Hyper-Parameter)是困扰神经网络训练的问题之一，因为这些参数不可通过常规方法学习获得。 神经网络经典五大超参数: 学习率(Leraning Rate)、权值初始化(Weight Initialization)、网络层数(Layers) 单层神经元数(Units)、正则惩罚项（Regularizer|Normalization) 这五大超参数使得神经网络更像是一门实践课，而不是理论课。 懂神经网络可能只要一小时，但是调神经网络可能要几天。 因此，后来Vapnik做SVM支持向量机的时候，通过巧妙的变换目标函数，避免传统神经网络的大部分超参数， 尤其是以自适应型的支持向量替代人工设置神经元，这使得SVM可以有效免于过拟合之灾。 传统对抗这些超参数的方法是经验规则（ Rules of Thumb )。 这几年，随着深度学习的推进，全球神经网络研究者人数剧增，已经有大量研究组着手超参数优化问题： ★深度学习先锋的RBM就利用Pre-Traning自适应调出合适的权值初始化值。

做人要大度，海纳百川，做事要圆滑，左右逢源，这让我想到了编程也是如此，代码要扩展，界面也要考虑自适应。 这篇文章是 Android开发 人员的必备知识，是我特别为大家整理和总结的，不求完美，但是有用。 1.背景自适应且不失真问题的存在 制作自适应背景图片是UI开发的一个广泛问题，也是界面设计师渴望解决的问题，我相信我们彼此都深有体会。 比如,列表的背景图一定，但是列表的高度随着列表数据项会发生变化；标题栏的背景，无论横屏还是竖屏，高分辨率还是低分辨率，都能自动填充满，而且不失真等等背景问题。 根据以往的经验，我们一般采用先切图后拼凑的做法，这种做法本来我想在这里和大家介绍一下，其实有的时候还是很有用的，但是说起来会比较麻烦，就不说这个非重点了，略去，如果大家真的要介绍，在回复中说明，我再考虑一下。 Android针对这种情况，专门制作了一种.9.PNG格式来解决这个问题。 2.9.PNG格式。 我不想在这里过多的讨论PNG格式的定义问题。但是.9.PNG确实是标准的PNG格式，只是在最外面一圈额外增加1px的边框，这个1px的边框就是用来定义图片中可扩展的和静态不变的区域。特别说明，left和top边框中交叉部分是可拉伸部分，未选中部分是静态区域部分。right和bottom边框中交叉部分则是内容部分（变相的相当于定义看一个内边距，神似padding功能，后面我会单独介绍一下）

做人要大度，海纳百川，做事要圆滑，左右逢源，这让我想到了编程也是如此，代码要扩展，界面也要考虑自适应。 这篇文章是android开发人员的必备知识，是我特别为大家整理和总结的，不求完美，但是有用。 1.背景自适应且不失真问题的存在 制作自适应背景图片是UI开发的一个广泛问题，也是界面设计师渴望解决的问题，我相信我们彼此都深有体会。 比如,列表的背景图一定，但是列表的高度随着列表数据项会发生变化；标题栏的背景，无论横屏还是竖屏，高分辨率还是低分辨率，都能自动填充满，而且不失真等等背景问题。 根据以往的经验，我们一般采用先切图后拼凑的做法，这种做法本来我想在这里和大家介绍一下，其实有的时候还是很有用的，但是说起来会比较麻烦，就不说这个非重点了，略去，如果大家真的要介绍，在回复中说明，我再考虑一下。 Android针对这种情况，专门制作了一种.9.PNG格式来解决这个问题。 2.9.PNG格式。 我不想在这里过多的讨论PNG格式的定义问题。但是.9.PNG确实是标准的PNG格式，只是在最外面一圈额外增加1px的边框，这个1px的边框就是用来定义图片中可扩展的和静态不变的区域。特别说明，left和top边框中交叉部分是可拉伸部分，未选中部分是静态区域部分。right和bottom边框中交叉部分则是内容部分（变相的相当于定义看一个内边距，神似padding功能，后面我会单独介绍一下）

做人要大度，海纳百川，做事要圆滑，左右逢源，这让我想到了编程也是如此，代码要扩展，界面也要考虑自适应。 这篇文章是android开发人员的必备知识，是我特别为大家整理和总结的，不求完美，但是有用。 1.背景自适应且不失真问题的存在 制作自适应背景图片是UI开发的一个广泛问题，也是界面设计师渴望解决的问题，我相信我们彼此都深有体会。 比如,列表的背景图一定，但是列表的高度随着列表数据项会发生变化；标题栏的背景，无论横屏还是竖屏，高分辨率还是低分辨率，都能自动填充满，而且不失真等等背景问题。 根据以往的经验，我们一般采用先切图后拼凑的做法，这种做法本来我想在这里和大家介绍一下，其实有的时候还是很有用的，但是说起来会比较麻烦，就不说这个非重点了，略去，如果大家真的要介绍，在回复中说明，我再考虑一下。 Android针对这种情况，专门制作了一种.9.PNG格式来解决这个问题。 2.9.PNG格式。 我不想在这里过多的讨论PNG格式的定义问题。但是.9.PNG确实是标准的PNG格式，只是在最外面一圈额外增加1px的边框，这个1px的边框就是用来定义图片中可扩展的和静态不变的区域。特别说明，left和top边框中交叉部分是可拉伸部分，未选中部分是静态区域部分。right和bottom边框中交叉部分则是内容部分（变相的相当于定义看一个内边距，神似padding功能，后面我会单独介绍一下）

做人要大度，海纳百川，做事要圆滑，左右逢源，这让我想到了编程也是如此，代码要扩展，界面也要考虑自适应。 这篇文章是android开发人员的必备知识，是我特别为大家整理和总结的，不求完美，但是有用。 1.背景自适应且不失真问题的存在 制作自适应背景图片是UI开发的一个广泛问题，也是界面设计师渴望解决的问题，我相信我们彼此都深有体会。 比如,列表的背景图一定，但是列表的高度随着列表数据项会发生变化；标题栏的背景，无论横屏还是竖屏，高分辨率还是低分辨率，都能自动填充满，而且不失真等等背景问题。 根据以往的经验，我们一般采用先切图后拼凑的做法，这种做法本来我想在这里和大家介绍一下，其实有的时候还是很有用的，但是说起来会比较麻烦，就不说这个非重点了，略去，如果大家真的要介绍，在回复中说明，我再考虑一下。 Android针对这种情况，专门制作了一种.9.PNG格式来解决这个问题。 2.9.PNG格式。 我不想在这里过多的讨论PNG格式的定义问题。但是.9.PNG确实是标准的PNG格式，只是在最外面一圈额外增加1px的边框，这个1px的边框就是用来定义图片中可扩展的和静态不变的区域。特别说明，left和top边框中交叉部分是可拉伸部分，未选中部分是静态区域部分。right和bottom边框中交叉部分则是内容部分（变相的相当于定义看一个内边距，神似padding功能，后面我会单独介绍一下）

上篇博客我们说了感知器，这篇博客主要记录自适应线性神经元的实现算法及一些其他的训练细节，自适应线性神经元（简称为Adaline）由Bernard Widrow和他的博士生Tedd Hoff提出，对感知器算法进行了改进。 当然Adaline对输入向量x的处理和感知器是一样的，都是使用一个权重向量w与x线性组合后得到z，再使用激活函数将z压缩到二元输入（1/-1），区别在于Adaline使用梯度下降法来更新w。 因为我们的目的是准确分类，那么我们需要来衡量分类效果的好坏，在这里我们介绍目标函数： \[ J(w) = \frac12 \sum_i^n(y^i - \phi(z^i))^2 \] 它也可以叫做损失函数，通过上式我们可以大致理解为什么叫做损失函数，此函数可以计算出所有训练样本的真实值和预测值之间的误差平方和（Sum of Squared Errors，简称SSE），式子前面的那个1/2是为了之后求导方便添加的，没有其他意义。 有了损失函数，于是我们的目的更具体一点，就是为了选择合适的w，使损失函数取得最小值，损失函数越小，就意味着错误分类的情况越少，算法的分类效果也就越好。而因为Adaline的损失函数是一个凸函数，所以我们可以使用梯度下降来找到使损失函数取值最小的权重向量w，我们可以想象为一个小球滚下山： 刚开始的w也许会得到一个很大的损失函数，但是由于损失函数J是w的函数