线性回归

1、一元回归 一元线性回归分析、多元线性回归分析 【一元线性回归分析】 已经某变量取值，如果想要用它得到另一个变量的预测值 自变量或预测变量、因变量或标准变量 1. 目的：根据某自变量取值得到因变量的预测值 2. 所需数据： 因变量（连续变量）+自变量（连续变量、二分变量） 3. 假设条件： a. 观测值独立 b. 两个变量服从正态分布：总体中每一变量的取值都要服从正态分布，而且对某一变量的任意取值，另一变量的取值也应服从正态分布 c. 方差齐性：因变量的总体方差与自变量的方差相同的 4. 方程： Y=a+bX Y表示因变量的预测值（不是真实值），a表示的y轴的截距，b表示回归方程的斜率，X表示自变量的取值 5. 假设检验： 在原假设为真（b=0）的情况下，如果检验的结果不可能（p值小于等于0.05），则拒绝原假设，即回归系数不等于0； 如果检验的结果有可能（p值大于0.05），则接受原假设，即回归系数为0 练习： 这是一家超市连续3年的销售数据，包括月份，季度，广告费用，客流量，销售额5个变量，共36条记录，这里根据广告费用来预测销售额，当广告费用为20万时，销售额大概为多少。 数据：超市销售数据.sav。 6. 具体步骤： a. 导入数据 b. 分析数据：分析--回归--线性回归 c. 解释输出结果： 描述统计：给出常见统计量 相关性：两个变量的相关系数，当前的相关系数是0

线性回归与梯度算法 线性回归是研究分析一个变量与另外一个或多个变量之间关系的方法。 期望：用一条直线表示这种关系。 线性回归（Linear Regression）是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。 线性回归 (Linear Regression)，亦称为直线回归，即用直线表示的回归，与曲线回归相对。若因变量Y对自变量X1、X2…、Xm的回归方程是线性方程，即μy＝β0 +β1X1 +β2X2 +…βmXm，其中β0是常数项，βi是自变量Xi的回归系数，M为任何自然数。这时就称Y对X1、X2、…、Xm的回归为线性回归。 简单回归： 只有一个自变量的线性回归称为简单回归，如下面示例： X表示某商品的数量，Y表示这些不同数量商品的总价格 x=[0, 1, 2, 3, 4, 5] y=[0, 17, 45, 55, 85, 99] 二维坐标中绘图如下图: 现在当商品数量 X = 6时，估计商品总价是多少？ 我们可以很明显的看到，商品总价随商品的数量上升而上升，这是一个典型的线性回归。 因为只有一个自变量X，我们假设线性回归模型： Y = a * X + b 我们需要求出最合适的a，b值，使得直线：Y = a * X + b 与上图的趋势相拟合，这时候才能去预测不同商品数量X下的总价Y。

sklearn中拥有有非常庞大的线性回归模型家族，采用各种算法用以解决各类线性回归问题。不同的线性回归模型的参数设置、模型方法和调参策略并不一样，本文并不具体介绍每个模型的具体接口和使用事项，仅简单梳理下sklearn中的部分线性回归模型。 线性回归模型按照 正则化策略 ：可分为普通回归问题（无正则化项）、L1正则（Lasso问题）、L2正则（Ridge问题）和弹性网ElasticNet（L1正则+L2正则）。 线性回归模型按照 计算策略 ：可分为 最小二乘法 、 坐标轴轴下降法 、 最小角回归法 、 梯度下降法 ，同时对于Ridge回归可以利用 核机巧 将其推广到高维非线性空间。相关算法的细节可参考对应博文。值得强调的是，这里的 梯度下降法 是变形后的梯度下降法（如在 Logsitic回归 中介绍的各种优化器），因为原始的梯度下降法并不能解决L1正则项不可导的问题。 从 正则化策略 和 计算策略 这两个问题，对sklearn中的线性回归模型进行大概的梳理，可以得到不同的sklearn中不同模型的适用条件（见下图）。 来源： CSDN 作者： guofei_fly 链接： https://blog.csdn.net/guofei_fly/article/details/103889406

梯度下降法 梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。 梯度下降的形象解释 现在有一个山谷，你想要到达山谷的最低端，你此时在A点，那么此时就可以利用梯度下降来找到最低点。你每次以你当前的方向为基准。选择一个最陡峭的方向，朝着山下降的方向向下走，每次走一段距离，重复执行该步骤，你总能够到达山顶。 ## 梯度下降算法原理 原理介绍： ### 微分 微分其实就可以看作是函数图像在某点的斜率。有单变量微分和多变量微分 $\frac{d(x^2)}{x}=2x$ $\frac{\partial}{\partial x} (x^2y)=2xy$ $\frac{\partial}{\partial y}(x^2y)=x^2$ 梯度 梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。 梯度是一个向量。对于某个点的梯度其实就是对每个变量求偏导构成的向量。 $J(\Theta)=1+2\Theta_1-3\Theta_2+4

**机器学习的过程说白了就是让我们编写一个函数使得costfunction最小，并且此时的参数值就是最佳参数值。 定义 假设存在一个代价函数 fun： \(J\left(\theta_{0}, \theta_{1}\right)\) 通过不断地调整 \(\theta_{0}\) 和 \(\theta_{1}\) 是函数 \(J\left(\theta_{0}, \theta_{1}\right)\) 取得最小值 梯度下降就是使J不断通过导数下降的一种算法 \(\theta_{j}:=\theta_{j}-\alpha \frac{\partial}{\partial \theta_{j}} J\left(\theta_{0}, \theta_{1}\right)\) \(a\) 是学习率，也就是梯度下降的效率 如果学习效率过小，则导致J下降太慢， 如果学习效率太大，会导致到不了J最小值，会直接越过最小值，这时候代价函数反而变大了 因此适度最好。 参考 线性回归梯度下降 给出梯度下降的参数更新公式， \(\theta_0\) 和 \(\theta_1\) 要同时更新 线性回归算法 说白了就是将梯度下降算法应用到代价函数中，求使代价函数最小的 \(\theta_0\) 和 \(\theta_1\) ，这个就是多元微积分里面的求偏导数，因为是两个未知数，同时求两个未知数

本文由中山大学In+ Lab整理完成，转载注明出处 团队介绍 传送门 一、序言 在统计学中，线性回归（Linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。线性回归属于监督学习，因此方法和监督学习应该是一样的，先给定一个训练集，根据这个训练集学习出一个线性函数，然后测试这个函数训练的好不好（即此函数是否足够拟合训练集数据），挑选出最好的函数（cost function最小）即可。 二、正文 2.1单变量线性回归 线性回归最典型的一个实例就是预测房价，即房产总价与购买的房屋面积的关系，还可以用来预测买一个移动硬盘的价钱，即移动硬盘的总价和容量大小的关系，这是最简单的一元线性回归，也就是我们所说的单变量线性回归。多变量线性回归只是在单变量线性回归上的扩展，因此我们先来简单介绍一下单变量线性回归。 对于单变量线性回归，其函数模型可以表示为： 我们都知道，房价跟房屋面积肯定是正相关的，但是并不是成正比的，具体的房价受制于多种因素，但最主要的因素是面积，这是毋庸置疑的，移动硬盘也是同样的道理。所以我们可以暂且忽略其他因素，抓住主要矛盾，研究房价与面积的关系，移动硬盘价格和容量的关系。 我们举一个简单的例子来说明，如下为某市的一组不同房屋面积及其对应的房屋总价的数据： 先根据这些数据画出散点图如下：

1. 回归分析 1.1. 一元线性回归 一元线性回归可以用来分析一个自变量和因变量之间的关系，通过分散的样本点来得到自变量和因变量之间的线性关系，通过最小二乘法来获得线性回归的系数，计算之后要对获得的回归方程进行检验。 P19 例2.1.1: import numpy as np from matplotlib import pyplot as plt from sklearn . linear_model import LinearRegression def linear_regression ( x , y ) : plt . figure ( ) plt . scatter ( x , y , alpha = 0.5 ) plt . title ( 'weight(y) and temperature(x)' ) plt . xlabel ( 'temperature' ) plt . ylabel ( 'weight' ) lrModel = LinearRegression ( ) # 求解模型 lrModel . fit ( x , y ) # 对x进行预测 y0 = lrModel . predict ( x ) plt . plot ( x , y0 ) plt . show ( ) alpha = lrModel . coef_ # 获得斜率 beta =

一、回归分析 1.1 主题 一元线性回归： 相关关系、最小二乘法、拟合优度检测、显著性检验、回归预测、残差分析 多元线性回归： 多重共线性、变量选择与逐步回归 二、 一元线性回归 1.1 相关关系 三、 多元线性回归 来源： CSDN 作者： kwunkau 链接： https://blog.csdn.net/qq_35906568/article/details/104035201

在 相关关系 一文中，我们探讨了俩数值型变量的相关问题，其中相关系数可反映相关性大小和方向，相关性检验可验证相关系数的可靠性。 但很多时候，仅靠相关分析来研究变量关系是不够的，为了获得更精确的数量关系并进一步做一些推断，有必要引入新的模型方法。 回归分析可以说是最简单的统计模型，但简单并不意味着不好用，就我而言，通常会把线性回归作为一个基准，来对比其它模型的效果。 下面介绍一种常用的回归模型： 多元线性回归 引例 ：R包一个自带数据集，50行5个变量，其中"Murder"作为本次实验的因变量，“Population”、“Illiteracy”、 "Income"和"Frost"作为自变量。 - 模型表达式 accurate_murder=b+k1 Population+k2 Illiteracy+k3 Income+k4 Frost - 参数估计 fit <- lm(Murder ~ Population + Illiteracy + Income + Frost, data = states) summary(fit) - 模型诊断 即使得到了参数估计的结果，也不是拿来就能用的，还需要进行一些统计检验，就多元线性回归而言，我们关注：a.多重共线性；b.残差的独立、正态、无自相关；c.回归系数的显著性；d.模型整体的显著性。 多重共线性 即解释变量间的相关性问题，因为都是数值型变量

目录： 1、什么是线性回归 　　1.1 理论模型 　　1.2 数据和估计 2、线性回归参数求解方法 　　2.1 直接求取参数 　　2.2 梯度下降法 　　2.3 随机梯度下降法 3、为什么选择最小二乘为评判标准 　　3.1 似然函数 　　3.2 求解极大似然函数 　　3.3 结论 1、什么是线性回归 　　线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。 1.1 理论模型 　　给一个随机样本 ，一个线性回归模型假设回归子 和回归量 之间的关系是除了X的影响以外，还有其他的变量存在。我们加入一个误差项 （也是一个随机变量）来捕获除了 之外任何对 的影响。所以一个多变量线性回归模型表示为以下的形式： 其他的模型可能被认定成非线性模型。一个线性回归模型不需要是自变量的线性函数。线性在这里表示 的条件均值在参数 里是线性的。例如：模型 在 和 里是线性的，但在 里是非线性的，它是 的非线性函数。 1.2 数据和估计 　　用矩阵表示多变量线性回归模型为下式： 　　其中 Y 是一个包括了观测值 的列向量， 包括了未观测的随机成份 以及回归量的观测值矩阵： 2、线性回归参数求解方法