最小二乘法

一、 最小二乘法的由来 1805年，法国数学家Legendre发表了最小二乘法的第一个清晰简洁的论述； 1809年，德国数学家高斯发表了《天体运动论》，并声称自1795年以来就使用了最小二乘法。导致了与Legendre的优先权争议。 1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明（高斯-马尔可夫定理） 二、参数估计——最小二乘法（正规方程） 1. 一元线性回归 对于一元线性回归模型 ，其中 e i 表示误差，可得 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为： 使总的拟合误差（即总残差）达到最小 。有以下三个标准可以选择： （1）用“残差和最小”确定直线位置是一个途径。但很快发现计 算“残差和”存在相互抵消的问题。 （2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。 （3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。 最常用的是 普通最小二乘法（ Ordinary Least Square，OLS）

在我们研究两个变量(x, y)之间的相互关系时，通常能够得到一系列成对的数据(x 1 , y 1 、x 2 , y 2 ... x m , y m )；将这些数据描绘在x -y直角座标系中(如图1), 若发现这些点在一条直线附近，能够令这条直线方程如(式1-1)。 Y 计 = a 0 + a 1 X 　　　　　　　　　　　　　　　　　　　(式1-1) 当中：a 0 、a 1 是随意实数 为建立这直线方程就要确定a 0 和a 1 ，应用《最小二乘法原理》，将实測值Yi与利用(式1-1)计算值(Y 计 =　a 0　 +　a 1　 X)的离差(Y i　 -　Y 计 )的平方和｀〔∑(Y i - Y 计 ) 2 〕最小为“优化判据”。 令: φ = ∑(Y i - Y 计 ) 2 　　　　　　　　　　　　　　　(式1-2) 把(式1-1)代入(式1-2)中得: φ = ∑(Y i - a 0 - a 1 X i ) 2 　　　　　　　　　　　　　(式1-3) 当∑(Yi-Y计)平方最小时，可用函数 φ 对a0、a1求偏导数，令这两个偏导数等于零。 　　　　　　　　　　(式1-4) 　　　　　　　　　(式1-5) 　 亦即： m a 0 + (∑X i ) a 1 = ∑Yi 　　　　　　　　　　　　　　(式1-6) (∑X i ) a 0 + (∑X i 2 ) a 1 = ∑(X i ,

在我们研究两个变量(x, y)之间的相互关系时，通常能够得到一系列成对的数据(x 1 , y 1 、x 2 , y 2 ... x m , y m )；将这些数据描绘在x -y直角座标系中(如图1), 若发现这些点在一条直线附近，能够令这条直线方程如(式1-1)。 Y 计 = a 0 + a 1 X 　　　　　　　　　　　　　　　　　　　(式1-1) 当中：a 0 、a 1 是随意实数 为建立这直线方程就要确定a 0 和a 1 ，应用《最小二乘法原理》，将实測值Yi与利用(式1-1)计算值(Y 计 =　a 0　 +　a 1　 X)的离差(Y i　 -　Y 计 )的平方和｀〔∑(Y i - Y 计 ) 2 〕最小为“优化判据”。 令: φ = ∑(Y i - Y 计 ) 2 　　　　　　　　　　　　　　　(式1-2) 把(式1-1)代入(式1-2)中得: φ = ∑(Y i - a 0 - a 1 X i ) 2 　　　　　　　　　　　　　(式1-3) 当∑(Yi-Y计)平方最小时，可用函数 φ 对a0、a1求偏导数，令这两个偏导数等于零。 　　　　　　　　　　(式1-4) 　　　　　　　　　(式1-5) 　 亦即： m a 0 + (∑X i ) a 1 = ∑Yi 　　　　　　　　　　　　　　(式1-6) (∑X i ) a 0 + (∑X i 2 ) a 1 = ∑(X i ,

在我们研究两个变量(x, y)之间的相互关系时，通常能够得到一系列成对的数据(x 1 , y 1 、x 2 , y 2 ... x m , y m )；将这些数据描绘在x -y直角座标系中(如图1), 若发现这些点在一条直线附近，能够令这条直线方程如(式1-1)。 Y 计 = a 0 + a 1 X 　　　　　　　　　　　　　　　　　　　(式1-1) 当中：a 0 、a 1 是随意实数 为建立这直线方程就要确定a 0 和a 1 ，应用《最小二乘法原理》，将实測值Yi与利用(式1-1)计算值(Y 计 =　a 0　 +　a 1　 X)的离差(Y i　 -　Y 计 )的平方和｀〔∑(Y i - Y 计 ) 2 〕最小为“优化判据”。 令: φ = ∑(Y i - Y 计 ) 2 　　　　　　　　　　　　　　　(式1-2) 把(式1-1)代入(式1-2)中得: φ = ∑(Y i - a 0 - a 1 X i ) 2 　　　　　　　　　　　　　(式1-3) 当∑(Yi-Y计)平方最小时，可用函数 φ 对a0、a1求偏导数，令这两个偏导数等于零。 　　　　　　　　　　(式1-4) 　　　　　　　　　(式1-5) 　 亦即： m a 0 + (∑X i ) a 1 = ∑Yi 　　　　　　　　　　　　　　(式1-6) (∑X i ) a 0 + (∑X i 2 ) a 1 = ∑(X i ,

无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。 人工智能教程 在目前的机器学习领域中，最常见的三种任务就是：回归分析、分类分析、聚类分析。那么什么是回归呢？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。回归分析在机器学习领域应用非常广泛，例如，商品的销量预测问题，交通流量预测问题。下面介绍几种常见的线性回归模型。 常用的线性回归算法 1、线性回归 线性回归拟合一个带系数的线性模型，以最小化数据中的观测值与线性预测值之间的残差平方和。 #加载线性模型算法库 from sklearn import linear_model # 创建线性回归模型的对象 regr = linear_model . LinearRegression ( ) # 利用训练集训练线性模型 regr . fit ( X_train , y_train ) # 使用测试集做预测 y_pred = regr . predict ( X_test ) 2、岭回归 上述的线性回归算法使用最小二乘法优化各个系数，对于岭回归来说，岭回归通过对系数进行惩罚(L2范式)来解决普通最小二乘法的一些问题，例如，当特征之间完全共线性(有解)或者说特征之间高度相关

博客部分公式有格式问题，请前往语雀： https://www.yuque.com/leesamoyed/bvsayi/hrobcr 一、最小二乘法（矩阵表达；几何意义）： 1.线性拟合是用线去拟合样本点： 假设： 其中： ， ， 有： 事实上要拟合的曲线： 其中： （在这里 所以我们更倾向于把它写入 ） 2.最小二乘估计： 最小二乘法定义： 其中： 得到： 得到： 得到： 所以： 注意： 称为伪逆记为 第一个几何解释：距离和。 另一个几何解释：对于要拟合的直线我们从另一个角度看： ，把 想象为 维度的一个系数： ，横着看就是 样本点，竖着看就是一个 维，由 可以形成一个 维空间（一般 ）， 形成的向量一般不在 维空间（存在噪声之类的），最小二乘法就是在 维空间中找到一条线，让 距离线（平面最近），那么很显然就是投影。 既然是投影就会垂直于 维空间，就会垂直于每一个向量，就有 ​ ​ ​ 显而易见的是，结果和我们之前推导的结果是一样的，所以从这个角度就很好推证。 这个就是把误差看成每个维度。 二、最小二乘法-概率角度： 概率视角： 假设： 其中： ， ， 有： ：样本 ：值 最小二乘估计： 假设存在噪声： 和最小二乘估计的 一样 （noise is Gaussian Dist） 三、正则化-岭回归-频率角度： Loss Function： ， 个样本， （一般 ），如果样本纬度高

本文由中山大学In+ Lab整理完成，转载注明出处 团队介绍 传送门 一、序言 在统计学中，线性回归（Linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。线性回归属于监督学习，因此方法和监督学习应该是一样的，先给定一个训练集，根据这个训练集学习出一个线性函数，然后测试这个函数训练的好不好（即此函数是否足够拟合训练集数据），挑选出最好的函数（cost function最小）即可。 二、正文 2.1单变量线性回归 线性回归最典型的一个实例就是预测房价，即房产总价与购买的房屋面积的关系，还可以用来预测买一个移动硬盘的价钱，即移动硬盘的总价和容量大小的关系，这是最简单的一元线性回归，也就是我们所说的单变量线性回归。多变量线性回归只是在单变量线性回归上的扩展，因此我们先来简单介绍一下单变量线性回归。 对于单变量线性回归，其函数模型可以表示为： 我们都知道，房价跟房屋面积肯定是正相关的，但是并不是成正比的，具体的房价受制于多种因素，但最主要的因素是面积，这是毋庸置疑的，移动硬盘也是同样的道理。所以我们可以暂且忽略其他因素，抓住主要矛盾，研究房价与面积的关系，移动硬盘价格和容量的关系。 我们举一个简单的例子来说明，如下为某市的一组不同房屋面积及其对应的房屋总价的数据： 先根据这些数据画出散点图如下：

理解线性模型： 是一种函数 目标是预测 从一个属性的线性组合中来学习 具备很好的 可解释性 ：每个样本都给予了相应的权重表示重要性 线性回归 数据集：D＝{(x1,y1),(x2,y2),…,(xn,yn)}, 其中xi=(xi1;xi2;xi3;…;xid),yi∈Rxi=(xi1;xi2;xi3;…;xid),yi∈R 线性回归试图从样本Ｘ学得一个线性模型–>尽可能准确的预测实值输出Ｙ, f ( x i ) = w x i + b f\left(x_i\right)=wx_i+b f ( x i ​ ) = w x i ​ + b 使得 f ( x i ) ≈ y i f(x_i)\approx y_i f ( x i ​ ) ≈ y i ​ １、将f(x)与ｙ之间的差别最小化 性能度量是衡量模型泛化能力的评价标准。 均方误差（MSE:mean squared error）是回归任务中最常用的性能度量， E ( w ) = 1 m ∑ i = 1 m ( f w ( x i ) − y i ) 2 E\left(w\right)=\frac1m\sum_{i=1}^m\left(f_w\left(x_i\right)-y_i\right)^2 E ( w ) = m 1 ​ i = 1 ∑ m ​ ( f w ​ ( x i ​ ) − y i ​ ) 2 使用MSE的原因

根据已知特征值X和标签结果Y,我们利用线性回归模型（为了简化，作者以一元线性回归为例说明）可以得出 y i ^=wx i +b。 损失函数：loss=Σ(y i -y i ^) 2 ，为了得到更加准确的拟合模型，我们的目标就转化为使损失函数loss最小，即： argmin loss=argmin Σ(y i -y i ^) 2 =argmin Σ(y i -wx i -b) 2 这里就是大家比较熟悉的最小二乘法(即最小化误差平方和)。 因此线性回归其实质就是利用最小二乘法去计算各种参数(w,b)。 但是对于逻辑回归，为什么不能用最小二乘法了呢？ 我们知道逻辑回归，同线性回归一样，可以计算预测值： y i ^=wx i +b 但是对于逻辑回归的标签结果是0或者1，如何使二者能够发生关联呢，有一种神奇的激活函数就是Sigmoid函数，可以将变量转化为0或者1， sigmoid函数表示： f(z)=1/(1+e -z )，因此，可以转化为 f(x)=1/(1+e -(wx+b) ) 。这时也许你想， 同样loss=Σ(y i -f(x i )) 2 这样我们就可以像线性回归那样，利用最小二乘法去计算参数值了。 可是好事多磨啊，要想得到一个最小二乘的最优解，这个函数最好是凸函数 （为什么说最好是呢，其实不是凸函数，也能求得部分解，但不能保证是最优解，可能是一些鞍点） （什么是凸函数

原文出处 ： https://blog.csdn.net/u011026329/article/details/79183114 最小二乘法 1、什么是最小二乘思想？ ​ 简单地说，最小二乘的思想就是要使得 观测点和估计点的距离的平方和达到最小 .这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。从这个上也可以看出，最小二乘也可用于拟合数据模型。 2. 最小二乘法推导 ​ 我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面… ​ 对于一元线性回归模型, 假设从总体中获取了 n n 个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 ​ 选择最佳拟合曲线的标准可以确定为