线性回归的任务是对于一个输入，给出输出的实数，保证和真实输出相差越小越好。因为假设空间是线性的，所以最后的g会是直线或者平面。
通常的误差衡量方法是使用平方误差
接下来的问题是如何最小化 Ein
将Ein写成矩阵形式，
注意到Ein是w的函数，是连续的、可微的、凸函数。
对w求偏导使之为0则可以求出最优点。 
这是一个关于w的一次方程。
在 
不可逆时，它的 pseudo-inverse仍然存在，只是会有多个，选取其中一个去得到w即可。
线性回归是一个学习算法吗？
先来看一看它的Ein
H也可以叫做投影矩阵
线性回归嘛，预测出来的y_hat 就在 span of X上。真实的y要与y_hat最小，那么就是要
那residual，也就是 y - y_hat 可以写作 y通过（I-H）做投影。
如果加入了noise, y - y_hat 也可以看做是 noise 通过（I-H）的投影
然后就有（？？？）为什么要求Ein的平均不太懂。。
第二条说的Eout的平均与Ein的平均的差，也就是平均的Eout与Ein的差，和VC给的保证（最坏的情形）不一样。
只要N足够大，noise比较小的话，learning happened.
可以使用linear regression 来做 linear classification.
首先看看两者的误差衡量方式，0/1 err最小化不好解。。
也就是说 regression的Ein 是大于 classification的 Ein的，那么看看Eout
classification的Eout 被 regression 的 Ein和 模型复杂度惩罚项（对两者而言是一样的）给bound住。
那么只要做好了regression的Ein，那么classification的Eout也可以很好。所以可以用regression来做classification.
linear regression:
优点：结果易于理解，计算不复杂。
缺点：对非线性数据拟合不好。
适用：数值型和标称型数据。
来源：https://www.cnblogs.com/akanecode/p/7054626.html