目录
模型的定义
将m个样本，n个特征的训练集表示为:
对于线性回归，我们假设（为了方便起见，我们令
）
其中
是待学习的参数，
即是我们取的n个特征，其中第一项
,即是
表示截距。
损失函数
其中
，
，
梯度法
, 
用矩阵形式表示为
其中，括号中的三项均为标量，求
的导数，按的形状来求解比较容易。
梯度
正规方程解
令
即是
不可逆，可能的原因：
1.列向量线性相关，即训练集中存在冗余特征，此时应该剔除掉多余特征；
2.特征过多，此时应该去掉影响较小的特征，或使用“正则化”。
当样本总数 m 小于等于特征数 n 时， 则一定不可逆。
来源：CSDN
作者：一杯敬朝阳一杯敬月光
链接：https://blog.csdn.net/qq_xuanshuang/article/details/104309226