线性回归方程

一、线性回归应用场景 房价预测 销售额度预测 金融：贷款额度预测、利用线性回归以及系数分析因子 二、线性回归的原理 什么是回归 在机器学习中，回归就是拟合的意思，我们需要找出一个模型来拟合(回归)数据。 什么是线性回归 线性回归是：利用回归方程(函数)，对特征值和目标值之间关系进行建模的一种分析方式。 特征值和目标值可以是一个或多个，特征值和目标值可以看作函数意义上的自变量和因变量。 特点 只有一个自变量的情况称为单变量回归。 多于一个自变量的情况称为多元回归。 通用公式 h ( θ ) = θ 1 x 1 + θ 2 x 2 + θ 3 x 3 + . . . + b = θ T x + b h(\theta) = \theta_1x_1 + \theta_2x_2 + \theta_3x_3 + ... + b = \theta^Tx + b h ( θ ) = θ 1 ​ x 1 ​ + θ 2 ​ x 2 ​ + θ 3 ​ x 3 ​ + . . . + b = θ T x + b 其中： θ = ( θ 1 , θ 2 , . . . , θ n , b ) T \theta = (\theta_1,\theta_2,...,\theta_n,b)^T θ = ( θ 1 ​ , θ 2 ​ , . . . , θ n ​ , b ) T x = ( x 1 , x 2

1.什么是线性回归？ 线性回归是试图在一堆数据中训练得到自变量x和因变量y中一组线性关系，如 y = w x + b y=wx+b y = w x + b 。例如把人脚底板长度作为自变量，身高作为因变量，那么在这两种数据之间就可以做一个简单线性回归，可以得到脚底板长度和身高的关系式。 维基百科：线性回归 在统计学中，线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。 周志华：机器学习 基于均方误差最小化来进行模型求解的方法称为“最小二乘法”，线性回归中最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。 2. 线性回归的目标函数 要想求得这组线性关系，即求得相应的回归系数的值。那么先讲解一下线性回归的目标函数。 假设一堆数据中因变量为y，自变量为 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x 1 ​ , x 2 ​ , . . . , x n ​ ，对其进行线性回归，求得结果会如下所示： y = w 0 + w 1 x 1 + w 2 x 2 + . . . + w n x n = ∑ i = 0 n w i x i = w T x y=w_0+w_1x_1+w_2x_2+...+w_nx_n=\sum_{i=0}^nw_ix_i=w^Tx y = w 0 ​ + w 1 ​

一、什么是线性回归(Linear Regression) 维基百科：线性回归 在统计学中，线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。 线性回归最简单的定义：给出一个点集D，用一个函数去拟合这个点集，并且使得点集与拟合函数间的误差最小，如果这个函数曲线是一条直线，那就被称为线性回归 二、最小二乘法的引用 在数据的统计分析中，数据之间即变量x与y之间的相关性研究非常重要，通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线，它们之间或者正相关或者负相关。虽然这些数据是离散的，不是连续的，我们无法得到一个确定的描述这种相关性的函数方程，但既然在直角坐标系中数据分布接近一条直线，那么我们就可以通过画直线的方式得到一个近似的描述这种关系的直线方程。 当然，从前面的描述中不难看出，所有数据都分布在一条直线附近，因此这样的直线可以画出很多条，而我们希望找出其中的一条，能够最好地反映变量之间的关系。换言之，我们要找出一条直线，使这条直线“最贴近”已知的数据点 直线表达式： （可知只需求得a,b即可确定这条直线） “最小二乘法”的核心就是保证所有数据偏差的平方和最小。（“平方”的在古时侯的称谓为“二乘”） 使用偏导： 这两个方程中xi和yi都是知道的,很容易就求得a和b了 三、回归系数公式推导 假定被解释变量Y与多个解释变量

起步 非线性回归是线性回归的延伸，线性就是每个变量的指数都是 1，而非线性就是至少有一个变量的指数不是 1。生活中，很多现象之间的关系往往不是线性关系。选择合适的曲线类型不是一件轻而易举的工作，主要依靠专业知识和经验。常用的曲线类型有 幂函数，指数函数，抛物线函数，对数函数和S型函数 。 化非线性回归为线性回归 通过变量代换，可以将很多的非线性回归转化为线性回归。比如目标函数假设是 y = b0 + b1x + b2x^2 。那么另 z1 = x, z2 = x^2 。目标函数就变为 y = b0 + b1z1 + b2z2 。就可以用线性回归来解方程了而用上一篇文章《线性回归之多元线性回归》就能解决线性回归的问题。常见的转化模型有： 逻辑回归 逻辑回归是（Logistic Regression）是非线性回归中的一种，在分类问题上有的也能采用逻辑回归分类。这是一个二分器。比如根据肿瘤的大小来判断其良性或恶性，线性方程显然不能够胜任了： 逻辑回归模型中，先给定线性函数： 虽然这边是 θ 表示，但其实和线性回归中 b 是一个意思，都是作为自变量的系数。在二分类器中，经常需要一个分界线作为区分两类结果。再次需要一个函数进行曲线平滑化，由此引入 Sigmoid 函数进行转化： 这样，以0.5作为分界线。因此逻辑回归的最终目标函数就是： 回归就是用来得到样本属于某个分类的概率

Linear Regreesion 在现实生活中普遍存在着变量之间的关系，有确定的和非确定的。确定关系指的是变量之间可以使用函数关系式表示，还有一种是属于非确定的（相关），比如人的身高和体重，一样的身高体重是不一样的。 线性回归： 1： 函数模型（Model）： 假设有训练数据 那么为了方便我们写成矩阵的形式 2： 损失函数（cost）： 现在我们需要根据给定的X求解W的值，这里采用最小二乘法。 a.最小二乘法： 何为最小二乘法，其实很简单。我们有很多的给定点，这时候我们需要找出一条线去拟合它，那么我先假设这个线的方程，然后把数据点代入假设的方程得到观测值，求使得实际值与观测值相减的平方和最小的参数。对变量求偏导联立便可求。 因此损失代价函数为： 3 ： 算法（algorithm）： 现在我们的目的就是求解出一个使得代价函数最小的W： a.矩阵满秩可求解时（求导等于0）： b.矩阵不满秩时（梯度下降）： 梯度下降算法是一种求局部最优解的方法，对于F( x )，在a点的梯度是F( x )增长最快的方向，那么它的相反方向则是该点下降最快的方向，具体参考 wikipedia 。 原理：将函数比作一座山，我们站在某个山坡上，往四周看，从哪个方向向下走一小步，能够下降的最快； 注意：当变量之间大小相差很大时，应该先将他们做处理，使得他们的值在同一个范围，这样比较准确。 1）首先对θ赋值