[回归] 线性回归之解析解的推导过程
线性回归 Linear Regression——线性回归 是什么? 是机器学习中有监督机器学习下的一种简单的回归算法。 分为一元线性回归(简单线性回归)和多元线性回归,其中一元线性回归是多元线性回归的一种特殊情况,我们主要讨论多元线性回归 做什么? 回归问题关注的是一个因变量和一个或多个自变量的关系,根据已知的自变量来预测因变量. 如果因变量和自变量之间的关系满足线性关系(自变量的最高幂为一次),那么我们可以用线性回归模型来拟合因变量与自变量之间的关系. 怎么做? 简单线性回归的公式如下: y ^ = a x + b \hat y=ax+b y ^ = a x + b 多元线性回归的公式如下: y ^ = θ T x \hat y= \theta^T x y ^ = θ T x 上式中的 θ \theta θ 为系数矩阵,x为单个多元样本. 由训练集中的样本数据来求得系数矩阵,求解的结果就是线性回归模型,预测样本带入x就能获得预测值 y ^ \hat y y ^ ,求解系数矩阵的具体公式接下来会推导. 推导过程 推导总似然函数 假设线性回归公式为 y ^ = θ x \hat y= \theta x y ^ = θ x . 真实值y与预测值 y ^ \hat y y ^ 之间必然有误差 ϵ = y ^ − y \epsilon=\hat y-y ϵ = y ^