003 机器学习中的基础知识

自作多情 提交于 2020-01-13 09:38:15

  有些知识还是记录下来比较容易复习。

  懂原理, 会使用平台,使用语言实现常见算法。

1.大纲

  机器学习的基本概念

  机器学习的实质

  机器学习方法的三要素

  经验风险与结构风险

  常见损失函数

 

一:基本概念

1.机器学习的方法流程

  用监督学习为例

  

  首先,有一个输入数据,然后根据这个输入数据做一些特征的加工和整理,基于特征进行模型的训练,去建模,然后做模型评估,得到一个可以接受的模型,然后对模型就行部署,使用模型对业务进行应用。

  定期更新模型,对模型生命周期进行维护。

 

2.输入空间与输出空间

  输入空间(input space):将输入的所有可能取值的集合称作输入空间

  输出空间(output space):将输出的所有可能取值的集合作为输出空间

 

  输入空间与输出空间可以是有限元素的集合,也可以是欧式空间

  输出空间与输出空间可以是连续值的集合,也可以是离散集合

  输入空间与输出空间可以是同一个空间

  通常,输出空间比输入空间小

 

3.特征空间

  特征:每个输入实例的各个部分称为原始特征,基于特征还可以扩展出衍生特征

  特征向量:多个特征组合的集合

  特征空间:将特征向量存在的空间称为特征空间

 

  特征空间每一维都对应一个特性

  特征空间可以与输入空间相同,也可以不同

  需要将实例从输入空间映射到特征空间

  模型实际上是定义特征空间之上的

 

4.输入空间与特征空间

  需要将实例从输入空间映射到特征空间

  模型实际上是定义特征空间之上的

 

5.假设空间

  由输入空间到输出空间的映射的集合。

  监督学习的目的在于学习一个由输入到输出的映射,这一映射由模型来表示。学习的目的就是找到最好的这样的模型。

  模型属于输入空间到输出空间的映射集合,这个结合就是假设空间

 

  举例:

  

  

 

二:机器学习方法的三要素

1.三要素

  方法=模型+策略+算法

  模型:输入空间到输出空间的映射关系,学习过程就是从假设空间中搜索适合当前数据的假设

  策略:从假设空间众多 的假设中选择最优模型的学习标准或者规则

  算法:学习模型的具体计算方法,通常所以求解最优化问题

 

  模型:确定学习范围

  策略:确定学习规则

  算法:按照规则在范围内学习

 

2.模型

  分析当前需要解决的问题,确定模型。

  

 

3.策略

  从假设空间众多假设中选择到最优的模型的学习标准或者规则

 

  选择时,需要解决以下的问题:

  评估对单个样本的效果

  评估对训练集的整体效果

  评估对包括训练集预测集在内的所有数据的整体效果

 

  定义几个指标来衡量:

  损失函数:0-1损失函数

  风险函数:经验风险,期望风险,结构风险

 

  策略:

  经验风险最小EMR

  结构风险最小SRM

 

4.损失函数

  用来衡量预测结果与真实结果之间的差距,值越小,越一致

  通常是一个非负实值函数

  通过各种方式缩小损失函数的过程被称为优化,损失函数记做L(Y,f(x))

  

  常见:

  0-1损失函数:预测值与实际值相同是没有损失为0,否是是完全损失,为1。过于严格,一般采用两者的差小于某个阈值的方式。

  绝对值损失函数:预测结果与真实结果差的绝对值,简单易懂,但是计算不方便

  平方损失函数:预测结果与真实结果差的平方。

    优势:

      每个差值都是正的,累加不会被抵消

      平方对于大误差的惩罚大于小误差

      数据计算简单,友好,导数为一次函数

  对数损失函数:对数函数具有单调性,在求最优化问题时,结果与原始目标一致,可以将乘法转化为加法,简化计算

  指数损失函数:单调性,非负性优良性质,使得越接近正确结果,误差越小

  折叶损失函数:也叫铰链损失,对于判定边界附近的点的惩罚力度较高,常见于SVM。

 

  使用场景:

  0-1:理想状况模型

  log:逻辑回归,交叉熵

  squared:线性回归

  exponential:AdaBoosting

  Hinge:SVM,soft margin

 

5.经验风险与风险函数

  经验风险:损失函数度量了单个样本的预测结果,想要很亮整个训练集的预测值与真实值的差异,将整个训练集所有记录均进行一次预测,求损失函数,将所有的值累加,即为经验风险。

    经验风险越小,说明模型对训练集的拟合度越好。

    

  风险函数:又要期望损失,期望风险。所有的数据集的损失函数的期望。

    

  经验风险与期望风险:

    期望风险是对全局的效果,经验风险对局部的效果

    期望风险往往无法计算,经验风险可以计算

    当训练集足够大时,经验风险可以替代期望风险

 

6.经验风险的的问题

  在样本比较小时,仅关注经验风险,容易导致过拟合

  

7.结构风险

  在经验风险的基础上,我们继续解决。

  在经验风险的基础上,增加一个正则化项(Regularizer)或者为惩罚项(Penalty Term)。

  

  

  结构风险与经验风险:

  经验风险越小,模型决策函数越复杂,包含的参数越多

  当经验风险函数小到一定程度就出现过拟合

  防止过拟合的方式,就是降低决策函数的复杂度,让惩罚项最小化

  需要同时保证经验风险函数与模型决策函数的复杂度都达到最小化

  把两个式子融合得到结构风险函数,然后对这个结构风险函数进行最小化

 

8.范数

  规则化函数有多重选择,一般的,他是模型复杂度的单调递增函数,模型越复杂,该函数的值越大,惩罚力度越大。

  常用模型的参数向量的范数。

  常用的范数有零范数,一范数,二范数。

  

  公式:

  

  Lo范数:非零的元素的个数

  L1范数:各个元素的绝对值之和,使用L1,使得参数稀疏。

  L2范数:各个元素的平方和求平方根,使得每个元素都很小,但是不会等于0,而是接近于0.

 

9.范数

  

 

 

 

  

 

 

 

 

    

 

 

 

 

 

 

 

 

 

 

 

  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3.

  

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!