极大似然法

目录： 1、什么是线性回归 　　1.1 理论模型 　　1.2 数据和估计 2、线性回归参数求解方法 　　2.1 直接求取参数 　　2.2 梯度下降法 　　2.3 随机梯度下降法 3、为什么选择最小二乘为评判标准 　　3.1 似然函数 　　3.2 求解极大似然函数 　　3.3 结论 1、什么是线性回归 　　线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。 1.1 理论模型 　　给一个随机样本 ，一个线性回归模型假设回归子 和回归量 之间的关系是除了X的影响以外，还有其他的变量存在。我们加入一个误差项 （也是一个随机变量）来捕获除了 之外任何对 的影响。所以一个多变量线性回归模型表示为以下的形式： 其他的模型可能被认定成非线性模型。一个线性回归模型不需要是自变量的线性函数。线性在这里表示 的条件均值在参数 里是线性的。例如：模型 在 和 里是线性的，但在 里是非线性的，它是 的非线性函数。 1.2 数据和估计 　　用矩阵表示多变量线性回归模型为下式： 　　其中 Y 是一个包括了观测值 的列向量， 包括了未观测的随机成份 以及回归量的观测值矩阵： 2、线性回归参数求解方法 　　

似然函数 　　 似然函数 与概率非常类似但又有根本的区别，概率为在某种条件（参数）下预测某事件发生的可能性；而似然函数与之相反为已知该事件的情况下 推测出该事件发生时的条件（参数） ；所以似然估计也称为参数估计，为参数估计中的一种算法； 下面先求抛硬币的似然函数，然后再使用似然函数算出线性回归的参数； 　　假如有一枚硬币我们现在不知道它是否为正常硬币（正反面出现概率各位50%），所以想通过抛10次然后通过硬币正反面出现的概率分布判断该硬币是否正常；当抛完10次时出现5次正面向上、5次反面向上，正反面出现的概率符合正常硬币的预期，这时我们可以判断该硬币是正常的； 　　抛硬币符合二项分布所以下面计算出概率分布情况： 　　 　　如图： 　　　　 　　　　上图中x轴为正面出现的次数，y轴为上述函数的结果 　　上面式子中w为正反面出现的比例，y为正面出现的次数； 使用最大似然法求硬币问题 　　似然函数为知道了结果求条件，概率问题为知道了条件求概率，在这个问题中就是知道了硬币是正常的，求正反面出现的比例w为何值时该结果最靠谱；所以似然函数等于： 　　　　 　　函数左边的值并非条件概率中的条件而是该函数的依赖值，似然函数L为在给定结果y的情况下参数w的取值情况，概率函数L为知道了参数w求得y的取值；有了抛硬币情况的概率分布这里就可以给出 似然函数 ： 　　 　

【转】 模式识别的目标 自动从数据中发现潜在规律，以利用这些规律做后续操作，如数据分类等。 模型选择和参数调节 类似的一族规律通常可以以一种模型的形式为表达，选择合适模型的过程称为模型选择（Model Selection）。模型选择的目的只是选择模型的形式，而模型的参数是未定的。 从数据中获得具体规律的过程称为训练或学习，训练的过程就是根据数据来对选定的模型进行参数调节（Parameter Estimation）的过程，此过程中使用的数据为训练数据集（Training Set）。 对于相同数据源的数据来讲，规律应该是一般的（泛化Generalization），因此评估一个学习结果的有效性可以通过使用测试数据集（Testing Set）来进行的。 预处理 对于大多数现实中的数据集来讲，使用其进行学习之前，通常需要进行预处理，以提高学习精度及降低学习的开销。 以图像识别为例，若以像素做为一个特征，往往一幅图像的特征就能达到几万的数量级，而很多特征（如背景色）都是对于图像辨识起不到太大作用的，因此对于图像数据集，预处理过程通常包括维数约减（特征变换，特征选择），仅保留具有区分度的特征。 文本数据分类任务中，对训练文本也有类似的处理方式，只不过此时扮演特征的是单词，而不是像素值。 监督学习和非监督学习 输入向量（input vector）： ，响应向量（target vector）：

一、机器学习中的最大似然、最小二乘、梯度下降 　　最小二乘和极大似然估计是目标函数，梯度下降是优化算法。机器学习的核心是一个模型，一个损失函数loss fuction，加上一个优化的算法。一个目标函数可以用不同的优化算法，不同的目标函数也可以用相同的优化算法。所以最小二乘和极大似然根本不是算法，和梯度下降毫无可比性。 　　PS:最小二乘和极大似然也不是对立的。最小二乘是从函数形式上来看的，极大似然是从概率意义上来看的。事实上，最小二乘可以由高斯噪声假设+极大似然估计推导出来。当然 极大似然估计 还可以推导出其他的loss function,比如 logistic回归 中，loss function是交叉熵. 　　最大似然（MLE），最小二乘都是构造 目标函数 的方法，构造出这个目标函数后，我们可以用各种 优化方法 来找到它的极值，这些优化方法中，有一类是使用函数的梯度信息，包括一阶的方法，例如梯度下降，以及二阶的方法，例如牛顿法等。 　 　　对于线性回归问题，它的 模型 ，我们采用 最大似然 来构造一个目标函数，最后用 梯度下降 来找到目标函数的最值。当然，对于这个问题，我们也可以不用梯度下降，直接用向量的投影来 直接算出 最优解的表达式（最小二乘）。 　　 实际上可以这样理解，极大似然函数（构造损失函数）+梯度下降可以解决所有回归问题，但多用于logist回归