pca

L1-PCA Intro PCA的本质就是从高维空间向低维空间投影，投影的本质又是左乘(或右乘)一个向量(表征原来特征空间到投影后特征空间的权重)，经过线性加权，转换到低维空间表征，如果将向量换成矩阵(假设由m个向量组成)，则是将原高维空间降维到m维空间上去。 L1-PCA解决的问题是outlier问题(一般PCA假设噪声服从高斯分布，如果有异常不服从，那么此时PCA的效果将非常差)，一般PCA是对outlier比较敏感的，而L1-PCA不对outlier敏感. PCA回顾 有必要从数学角度理解一下PCA。 就像上面我说的，PCA本质是做一种变换，一种变换往往可以通过矩阵乘积来表征，因此： \[ 定义向量a \in R^{p \times 1},特征矩阵X\in R^{n \times p},那么将X降维到1维是相当简单：\\X' = Xa,x'\in R^{n \times 1} \] 在我们学过的信号处理书中，我们知道，信号往往具有较大的方差，而噪声的方差是较小的，因此我们就很当然的认为，经过降维后的数据应该具有较大的方差。因此，下一步就是方差最大化： \[ \sigma^2_a = (Xa)^T(Xa) = a^TX^TXa = a^TVa \] 下面的任务就成了最大化方差优化求解a的问题了，我们引入约束条件，利用拉格朗日法： \[ z = a^TVa - \lambda(a

在介绍奇异值分解（SVD）之前我们先来回顾一下关于矩阵的一些基础知识。 矩阵基础知识 方阵 给定一个$ n×m $的矩阵$ A $，若n和m相等也就是矩阵的行和列相等那矩阵$ A $就是一个方阵。 单位矩阵 在线性代数中，n阶单位矩阵，是一个$ n×n $的方阵，其主对角线元素为1，其余元素为0。单位矩阵以$ mathbf { I } _ { n } $表示。 单位矩阵性质： $$ text { 1. } I _ { n } B _ { n times m } = B _ { n times m } $$ $$ text { 2. } B _ { n times m } I _ { m } = B _ { n times m } $$ $$ text { 3. } A _ { n } I _ { n } = I _ { n } A _ { n } = A _ { n } $$ $$ text { 4. } I _ { n } I _ { n } = I _ { n } $$ 转置 矩阵的转置是最简单的一种矩阵变换。简单来说若$ n×m $的矩阵$ A $的转置为$ A ^ { mathrm { T } } $，则$ A ^ { mathrm { T } } $是一个$ m×n $的矩阵并且有$ mathbf { A } _ { i j } = mathbf { A } _ { j