机器学习系列 | 线性回归模型（简单线性回归、局部线性回归、非线性关系）
1.什么是线性回归？ 线性回归是试图在一堆数据中训练得到自变量x和因变量y中一组线性关系，如 y = w x + b y=wx+b y = w x + b 。例如把人脚底板长度作为自变量，身高作为因变量，那么在这两种数据之间就可以做一个简单线性回归，可以得到脚底板长度和身高的关系式。 维基百科：线性回归 在统计学中，线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。 周志华：机器学习 基于均方误差最小化来进行模型求解的方法称为“最小二乘法”，线性回归中最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。 2. 线性回归的目标函数 要想求得这组线性关系，即求得相应的回归系数的值。那么先讲解一下线性回归的目标函数。 假设一堆数据中因变量为y，自变量为 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x 1 , x 2 , . . . , x n ，对其进行线性回归，求得结果会如下所示： y = w 0 + w 1 x 1 + w 2 x 2 + . . . + w n x n = ∑ i = 0 n w i x i = w T x y=w_0+w_1x_1+w_2x_2+...+w_nx_n=\sum_{i=0}^nw_ix_i=w^Tx y = w 0 + w 1