线性回归模型

线性回归模型

一、线性回归的基本假设

1.线性性和可加性

假设因变量为Y，自变量为X1，X2，则回归分析的默认假设为Y=b+a1X1+a2X2+ε。
线性性：X1每变动一个单位，Y相应变动a1个单位，与X1的绝对数值大小无关。
可加性：X1对Y的影响是独立于其他自变量（如X2）的。

2.误差项（ε）之间应相互独立。

若不满足这一特性，我们称模型具有自相关性（Autocorrelation）。

3.自变量（X1，X2）之间应相互独立。

若不满足这一特性，我们称模型具有多重共线性性（Multicollinearity）。

4.误差项（ε）的方差应为常数。

若满足这一特性，我们称模型具有同方差性（Homoskedasticity），若不满足，则为异方差性（Heteroskedasticity）。

5.误差项（ε）应呈正态分布。

二、一元线性回归模型

1. 一元线性回归模型：
   y=w₀+w₁x
   

2. 多元线性回归问题（multiple linear regression）:
   线性约束由多个解释变量构成：
   y=w₀+w₁x₁+w₂x₂+…+w_nx_n
   
   

3. 项式回归分析（polynomial regression问题）:
   一种具有非线性关系的多元线性回归问题
   y=w₀+w₁x₁+w₂x₂²+…+w_nx_nⁿ
   
   

三、回归模型的损失函数

回归问题的损失函数为均方误差(Mean Squared Error)，目标函数如下形式：

来源：oschina

链接：https://my.oschina.net/u/4407543/blog/4489914