主成分分析

目录 主成分分析法 一、主成分分析的理解 二、使用梯度上升法求解PCA 三、求数据的前n个主成分 四、将高维数据向低维数据映射 五、scikit-learn中的PCA 六、对真实数据集MNIST使用PCA 七、使用PCA降噪 八、PCA与人脸识别 我是尾巴： 主成分分析法 主成分分析法：(Principle Component Analysis, PCA)，是一个非监督机器学习算法，主要用于数据降维，通过降维，可以发现便于人们理解的特征，其他应用：可视化和去噪等。 一、主成分分析的理解 ​ 先假设用数据的两个特征画出散点图，如果我们只保留特征1或者只保留特征2。那么此时就有一个问题，留个哪个特征比较好呢？ ​ 通过上面对两个特征的映射结果可以发现保留特征1比较好，因为保留特征1，当把所有的点映射到x轴上以后，点和点之间的距离相对较大，也就是说，拥有更高的可区分度，同时还保留着部分映射之前的空间信息。那么如果把点都映射到y轴上，发现点与点距离更近了，这不符合数据原来的空间分布。所以保留特征1相比保留特征2更加合适，但是这是最好的方案吗？ ​ 也就是说，我们需要找到让这个样本间距最大的轴？那么如何定义样本之间的间距呢？一般我们会使用方差（Variance），Var(x)=\frac{1}{m}\sum_{i=1}^m(x_{i}-\overline{x})^2,找到一个轴