矩阵特征值

这一部分我们关注正的矩阵，矩阵中的每个元素都大于零。一个重要的事实： 最大的特征值是正的实数，其对应的特征向量也如是 。最大的特征值控制着矩阵 \(A\) 的乘方。 假设我们用 \(A\) 连续乘以一个正的向量 \(\boldsymbol u_0=(a, 1-a)\) ， \(k\) 步后我们得到 \(A^k\boldsymbol u_0\) ，这些向量 \(\boldsymbol u_1,\boldsymbol u_2, \boldsymbol u_3,\cdots\) 会接近于一个稳定状态 \(\boldsymbol u_\infty=(0.6, 0.4)\) 。这个最终的结果不依赖于输入向量： 对每一个 \(\boldsymbol u_0\) 我们都收敛到相同的 \(\boldsymbol u_\infty\) 。稳定状态方程 \(A\boldsymbol u_\infty=\boldsymbol u_\infty\) 说明 \(\boldsymbol u_\infty\) 是对应于特征值为 1 的一个特征向量。 乘以矩阵 \(A\) 后的确不会改变 \(\boldsymbol u_\infty\) ，但这依然不能解释为什么所有的 \(\boldsymbol u_0\) 都会变成 \(\boldsymbol u_\infty\) 。让我们来看另外一个例子，它可能有一个稳定状态

作者：桂。 时间：2017-02-26 19:54:26 链接： http://www.cnblogs.com/xingshansi/articles/6445625.html 前言 本文为模式识别系列第一篇，主要介绍主成分分析算法（Principal Component Analysis，PCA）的理论，并附上相关代码。全文主要分六个部分展开： 　　1）简单示例。通过简单的例子，引出PCA算法； 　　2）理论推导。主要介绍PCA算法的理论推导以及对应的数学含义； 　　3）算法步骤。主要介绍PCA算法的算法流程； 　　4）应用实例。针对PCA的实际应用，列出两个应用实例； 　　5）常见问题补充。对于数据预处理过程中常遇到的问题进行补充； 　　6）扩展阅读。简要介绍PCA的不足，并给出K-L变换、Kernel-PCA（KPCA）的相关链接。 本文为个人总结，内容多有不当之处，麻烦各位批评指正。 一、简单示例 　　 A-示例1：降维 先来看一组学生的成绩 学生1 学生2 学生3 学生4 ... 学生N 语文成绩 85 85 85 85 ... 85 数学成绩 96 93 78 64 ... 97 为了方便分析，我们假设N=5； 学生1 学生2 学生3 学生4 学生5 语文成绩 85 85 85 85 85 数学成绩 96 93 78 64 97 问题：

14 正交向量与正交子空间 正交向量 正交就是垂直的另一种说法。两向量正交的判据之一就是其点积 当两个向量的夹角为90度的时候，按照勾股定理x,y满足: 正交子空间 子空间S与子空间T正交，则S中任意一个向量都与T中任意一个向量正交。 15 子空间投影 投影 几何解释：在向量a上寻找与向量b距离最近的一点。从图中可以看出距离点p最近就是穿过b点并与向量a正交的直线与向量a所在直线的交点上。这就是b在a上的投影。如果我们将向量p视为b的一种近似，则长度e=b-p就是这一近似的误差。 因为p在向量a的方向上，因此可以令p=xa，而因为它与e正交，我们可以得到方程： 解得： 投影矩阵 将投影问题用投影矩阵方式进行描述，即p=Pb，其中P为投影矩阵。 则有： 在高维投影 如果a1和a2构成平面的一组基，则平面就是矩阵A=[a1a2]的列空间 已知向量p在平面内，则有 而： 与平面正交，因此e与a1和a2均正交，因此 16 投影矩阵和最小二乘法 投影 如果向量b本身就在A列空间之内，即存在x使得Ax=b，则有： 如果向量b与A的列空间正交，即向量b在矩阵的左零空间N(A)中： 最小二乘法 最优解的含义即为误差最小，这里误差就是每个方程误差值的平方和 误差即为数据点到直线距离的平方和。 对于空间向量b，投影矩阵A的列向量中得到p=[p1 p2 p3]T,投影到矩阵A的零空间中则为e。 17

目录 特征值分解与特征向量 奇异值与特征值的关系 特征值分解与特征向量 特征值分解可以得到特征值与特征向量； 特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。 如果向量 \(\vec{v}\) 是方阵 \(A\) 的特征向量，那么有： \[ A\nu = \lambda \nu \] \(\lambda\) 为特征向量 \(\vec{v}\) 对应的特征值。 特征值分解 是将一个矩阵分解为如下形式： \[ A=Q\sum Q^{-1} \] 其中， \(Q\) 是这个矩阵 \(A\) 的特征向量组成的矩阵， \(\sum\) 是一个对角矩阵，每一个对角线元素就是一个特征值，里面的 特征值是由大到小排列的 ，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。也就是说矩阵 \(A\) 的信息可以由其特征值和特征向量表示。 奇异值与特征值的关系 将矩阵 \(A\) 的转置乘以 \(A\) ，并对 \(AA^T\) 求特征值，有如下形式： \[ (A^TA)V = \lambda V \] 这里 \(V\) 就是上面的 右奇异向量 ，另外还有： \[ \sigma_i = \sqrt{\lambda_i}, u_i=\frac{1}{\sigma_i}A\mu_i \] 这里的 \(\sigma\) 就是 奇异值 ， \(u\)