pca

最近一个朋友问这方面的一些问题，其实之前也就很粗略的看了下fisher，真正帮别人解答问题的时候才知道原来自己也有很多东西不懂。下面小结下自己对fisher判别的理解： 其实fisher和PCA差不多，熟悉PCA的人都知道，PCA其实就是在寻找一个子空间。这个空间怎么来的呢，先求协方差矩阵，然后求这个协方差矩阵的特征空间（特征向量对应的空间），选取最大的特征值对应的特征向量组成特征子空间（比如说k个，相当于这个子空间有k维，每一维代表一个特征，这k个特征基本上可以涵盖90%以上的信息）。那么我们把样本投影在这个子空间，原来那么多维的信息就可以用这k维的信息代替了，也就是说降维了。至于PCA为啥要用求协方差矩阵然后求特征子空间的方法，这个数学上有证明，记得在某篇文章上看过，有兴趣的可以找找，看看证明。 那么fisher空间又是怎么一回事呢，其实fisher判别和PCA是在做类似的一件事，都是在找子空间。不同的是,PCA是找一个低维的子空间，样本投影在这个空间基本不丢失信息。而fisher是寻找这样的一个空间，样本投影在这个空间上，类内距离最小，类间距离最大。那么怎么求这个空间呢，类似于PCA，求最大特征值对应的特征向量组成的空间。 当我们取最大几个特征值对应的特征向量组成特征空间时（这里指出，最佳投影轴的个数d<=c-1，这里c是类别数），最佳投影矩阵如下：

引言： 机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y ，其中 x 是原始数据点的表达，目前最多使用向量表达形式。 y 是数据点映射后的低维向量表达，通常 y 的维度小于 x 的维度（当然提高维度也是可以的）。 f 可能是显式的或隐式的、线性的或非线性的。 当然还有一大类方法本质上也是做了降维，叫做feature selection，目的是从原始的数据feature集合中挑选一部分作为数据的表达。 目前大部分降维算法处理向量表达的数据，也有一些降维算法处理高阶张量表达的数据。 之所以使用降维后的数据表示是因为: (1)在原始的高维空间中，包含有冗余信息以及噪音信息，在实际应用例如图像识别中造成了误差，降低了准确率；而通过降维 , 我们希望减少 冗余信息 所造成的误差 , 提高识别（或其他应用）的精度。 (2)或者希望通过降维算法来寻找数据内部的本质结构特征。 (3)通过降维来加速后续计算的速度 (4)还有其他很多目的，如解决数据的sparse问题 在很多算法中，降维算法成为了数据预处理的一部分，如 PCA 。事实上，有一些算法如果没有降维预处理，其实是很难得到很好的效果的。 如果你需要处理数据，但是数据原来的属性又不一定需要全部保留，那么PCA也许是一个选择。 主成分分析算法（ PCA ）

转至博文：http://www.cnblogs.com/jasonfreak/p/5448385.html 知乎问答：https://www.zhihu.com/question/29316149 归一化，正则化：http://blog.csdn.net/u012102306/article/details/51940147 卡方检验：http://blog.csdn.net/sunshine_in_moon/article/details/45155803 目录 1 特征工程是什么？ 2 数据预处理 　　2.1 无量纲化 　　　　2.1.1 标准化 　　　　2.1.2 区间缩放法 　　　　2.1.3 标准化与归一化的区别 　　2.2 对定量特征二值化 　　2.3 对定性特征哑编码 　　2.4 缺失值计算 　　2.5 数据变换 3 特征选择 　　3.1 Filter 　　　　3.1.1 方差选择法 　　　　3.1.2 相关系数法 　　　　3.1.3 卡方检验 　　　　3.1.4 互信息法 　　3.2 Wrapper 　　　　3.2.1 递归特征消除法 　　3.3 Embedded 　　　　3.3.1 基于惩罚项的特征选择法 　　　　3.3.2 基于树模型的特征选择法 4 降维 　　4.1 主成分分析法（PCA） 　　4.2 线性判别分析法（LDA） 5 总结 6 参考资料 1