三、特征值和特征向量的应用实例
1、主成分分析（Principle Component Analysis, PCA）
（1）方差、协方差、相关系数、协方差矩阵
方差：
协方差： 
, 
, 
**方差是衡量单变量的离散程度，协方差是衡量两个变量的相关程度（亲疏），协方差越大表明两个变量越相似（亲密），协方差越小表明两个变量之间相互独立的程度越大。
相关系数：
，
**协方差和相关系数都可以衡量两个表明的相关程度，协方差未消除量纲，不同变量之间的协方差大小不能直接比较，而相关系数消除了量纲，可以比较不同变量之间的相关程度。
协方差矩阵：如果有两个变量X，Y，那么协方差矩阵为
，协方差阵说明了样本中变量间的亲疏关系。
（2）主成分分析的思想和算法
主成分分析是利用降维的思想，将多个变量转化为少数几个综合变量（即主成分），其中每个主成分都是原始变量的线性组合，各主成分之间互不相关，从而这些主成分能够反映始变量的绝大部分信息，且所含的信息互不重叠。它是一个线性变换，这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。
假设用p个变量来描述研究对象，分别用X1，X2…Xp来表示，这p个变量构成的p维随机向量为X=(X1，X2…Xp)，n个样本构成
组成了n行p列的矩阵A。主成分求解过程如下：
第一步，求解得到矩阵A的协方差阵B；
第二步，求解协方差阵B，得到按大小顺序排列的特征值向量
，
为特征值向量
中每个特征值组成的对角矩阵，U为所有特征值对应的特征向量构成的矩阵U，因此有
。重点来了，U是有特征向量构成的正定阵，向量的每一行可以视为一个的基向量，这些基向量经过矩阵B转换后，得到了在各个基向量上的伸缩，伸缩的大小即为特征向量。
第三步，主成分个数选择，根据特征值的大小，将特征值较大的作为主成分，其对应的特征向量就为基向量，特征值的筛选根据实际情况而定，一般大于1即可考虑作为主成分。