协方差分析

目录 1-PCA概述 2-理论推导 2.1-向量的内积与投影： 2.2-基的表示与变换： 2.3-协方差矩阵： 2.4-PCA推导 3-几何理解 4-计算过程 4.1-样本数小于特征数时的计算 4.2-matlab代码 5-实例 参考 1-PCA概述 主成分分析是一种常用的降维方法，它不使用标签信息，通过将原始坐标空间的数据（ d × 1 d\times 1 d × 1 ）投影到新的正交空间（ k × 1 k\times 1 k × 1 ）中实现数据降维，所谓的主成分就是指数据在新空间的基的方向。PCA以方差作为信息损失衡量的标准，使得数据降维过程中信息损失最小，即降维后数据的方差要尽量大。PCA首先找到所有数据方差最大的方向，并将其作为新的坐标空间的第一个轴的方向，然后在这个方向的垂直超平面上寻找第二个方差最大的方向，并作为新坐标空间第二个轴的方向，以此类推，直到找到需要的k个方向，也就是K个主成分，显然这k个新的基方向是两两垂直的。PCA的主要过程可以用“扭动坐标轴，保留K个轴”来形容。 为什么要以方差最大为依据呢？降维是为了数据更好地表示与计算，显然我们不希望降维后的数据成了一坨，使得原本分界明显的数据掺和在一起。例如，将数据投影到一维坐标系中，显然绿色的投影更好一些，因为其分散程度大，也就是方差更大。 对n个d维数据构成的数据集 X X X （ d × n d\times

PCA的流程： 代码参考： https://www.cnblogs.com/clnchanpin/p/7199713.html 协方差矩阵的计算 https://docs.scipy.org/doc/numpy/reference/generated/numpy.cov.html 思想： https://www.cnblogs.com/clnchanpin/p/7199713.html 求解协方差矩阵的特征值和特征向量 为什么PCA第一步是进行去掉数据中的平均值？ 因为每列数据减去该列的平均值后才能进行协方差计算。 按照特征值的大小进行排序，用到了numpy 中argsort函数 https://blog.csdn.net/maoersong/article/details/21875705 这篇对numpy中的matrix 总结的很好 https://www.cnblogs.com/sumuncle/p/5760458.html 三、特征值和特征向量的应用实例 1、主成分分析（Principle Component Analysis, PCA） （1）方差、协方差、相关系数、协方差矩阵 方差： 协方差： , , **方差是衡量单变量的离散程度，协方差是衡量两个变量的相关程度（亲疏），协方差越大表明两个变量越相似（亲密），协方差越小表明两个变量之间相互独立的程度越大。 相关系数：

PCA降维 1.相关背景 我们在实际工作中经常需要分析不同组呈现来的成千上百个指标的数据，这些指标之间经常有一些相关性指标，比如厘米和英尺，这样的指标我们只要保留一个就可以，还有一些隐藏的高度相关的特征，以通过降维方法来进行数据预处理。 2. 数据降维 主成分分析（Principal Component Analysis，简称PCA）是一种常用的降维方法，属于无监督学习。所谓降维就是将数据指标从高维度减到低维度，因为低维度的数据有如下优点： 1) 更容易进行数据分析和数据可视化 2）更容易进行数据存储 3）降低算法的运行成本 3.PCA原理 样本点分布在正交属性空间中，我们如何找到一个超平面（直线的高维推广）对所有样本点最合适的表达？ 1.最近重构性：样本点到这个超平面的距离足够近（类似线性回归） 2.最大可分性：样本点到这个超平面的投影尽可能分开（方差最大化） 以上两种方式得到的主成分分析的推导是等价的，下面从”最大可分析“进行推导PCA的过程。 3.1 向量的表示及基变换 3.1.1 向量的內积 a ⃗ ⋅ b ⃗ = ∣ a ⃗ ∣ ∣ b ⃗ ∣ c o s α ( α 为 两 个 向 量 的 夹 角 ) \vec a\cdot\vec b = |\vec a||\vec b|cos\alpha(\alpha为两个向量的夹角) a ⋅ b = ∣ a ∣ ∣ b ∣ c o

今天，我们来讲一讲“均值方差模型”。 介绍模型之前，先讲一下模型诞生背后的故事。 背后的故事 从前，有一个年轻人，叫 哈里·马科维兹（Harry Markowitz） ，彼时他正在芝加哥大学攻读经济学博士学位，一次偶然的机会他在办公室门外等待见导师、准备讨论博士论文时遇到了一个股票经纪人，和股票经纪人的一番交谈使他的研究方向转向了证券市场。导师鼓励他对这个领域进行研究，并给他推荐了当时著名的经济学家约翰·威廉姆斯（John Williams）最出名的一本书：《投资价值理论》（The Theory of Investment Value) 。 威廉姆斯认为，证券的价格反映了其“内在价值”，而 证券的价值就是其未来股息的折现价格 。但马科维兹很快就发现这个理论缺少了对“风险”的分析：投资者固然要最大化预期折现收益，同时也应该考虑到收益的方差（variance）是一个不好的东西，投资者在决策过程中应该同时考虑这两个方面，并且应该这样构建一个投资组合： 在“预期收益”和“收益的方差”之间做权衡取舍（trade-off） 。 （有点复杂，但这句话很重要...) 于是在1952年，25岁的马科维兹在The Journal of Finance这本顶级金融学期刊上发表了一篇论文，叫 《证券投资组合选择》（Portfolio Selection） 。 这篇论文当时并没有引起很大的轰动

PCA主成分分析原理分析和Matlab实现方法（三） 【 尊重 原创，转载请注明出处 】http://blog.csdn.net/guyuealian/article/details/68487833 网上关于PCA（主成分分析）原理和分析的博客很多，本博客并不打算长篇大论推论PCA理论，而是用最精简的语言说明鄙人对PCA的理解，并在最后给出用Matlab计算PCA过程的三种方法，方便大家对PCA的理解。 PS：本博客所有源代码，都可以在附件中找到 下载 ： http://download.csdn.net/detail/guyuealian/9799160 关于PCA原理的文章，可参考： [1]http://blog.csdn.net/guyuealian/article/details/68483384 [2]http://blog.csdn.net/guyuealian/article/details/68483213 [3] 张铮的《精通Matlab数字图像处理与识别 》 一、 PCA原理简要说明 PCA算法主要用于降维，就是将样本数据从高维空间投影到低维空间中，并尽可能的在低维空间中表示原始数据。 PCA的几何意义可简单解释为： 0维-PCA：将所有样本信息都投影到一个点，因此无法反应样本之间的差异；要想用一个点来尽可能的表示所有样本数据，则这个点必定是样本的均值。 1维

均值： 描述的是样本集合的中间点。 方差： 描述的是样本集合的各个样本点到均值的距离之平均，一般是用来描述一维数据的。 协方差： 是一种用来度量两个随机变量关系的统计量。 只能处理二维问题。 计算协方差需要计算均值。 如下式： 方差与协方差的关系 方差是用来度量单个变量 “ 自身变异”大小的总体参数，方差越大表明该变量的变异越大 协方差是用来度量两个变量之间 “协同变异”大小的总体参数，即二个变量相互影响大小的参数，协方差的绝对值越大，则二个变量相互影响越大。 协方差矩阵： 协方差矩阵能处理多维问题； 协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。 协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。 样本矩阵中若每行是一个样本，则每列为一个维度，所以计算协方差时要 按列计算均值 。 如果数据是3维，那么协方差矩阵是： 特征值与 特征向量 线性变化： 线性变换 (线性映射)是在作用于 两个向量空间之间的函数 ，它保持 向量加法和标量乘法 的运算，从一个向量空间变化到另一个向量空间。 实际上线性变换表现出来的就是一个矩阵 。 特征值和特征向量 是一体的概念： 对于一个给定的线性变换（矩阵A），它的特征向量 ξ 经过这个线性变换之后，得到的新向量仍然与原来的 ξ 保持在同一條直線上，但其长度也许會改变。一个特征向量的长度在该线性变换下缩放的比例(λ)称为其特征值

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zaf0516/article/details/36033955 协方差矩阵的详细说明 变量说明： 设 为一组随机变量，这些随机变量构成随机向量 对应着第i个随机单变量的所有样本值构成的向量。 单随机变量间的协方差： 随机变量 根据已知的样本值可以得到协方差的估计值如下： 可以进一步地简化为： （4） 协方差矩阵： 其中 如果所有样本的均值为一个零向量，则式（5）可以表达成： 补充说明： 1、协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差，而不是不同样本之间的协方差，如元素Cij就是反映的随机变量Xi, Xj的协方差。 2、协方差是反映的变量之间的二阶统计特性，如果随机向量的不同分量之间的相关性很小，则所得的协方差矩阵几乎是一个对角矩阵。对于一些特殊的应用场合，为了使随机向量的长度较小，可以采用主成分分析的方法，使变换之后的变量的协方差矩阵完全是一个对角矩阵，之后就可以舍弃一些能量较小的分量了（对角线上的元素反映的是方差，也就是交流能量）。特别是在模式识别领域，当模式向量的维数过高时会影响识别系统的泛化性能，经常需要做这样的处理。 3、必须注意的是，这里所得到的式（5）和式（6）给出的只是随机向量协方差矩阵真实值的一个估计（即由所测的样本的值来表示的

卡尔曼滤波主要分两个步骤，预测加校正。预测是基于上一时刻的状态对当前状态进行估计，校正是根据当前状态的观测与上一时刻的估计进行综合分析，估计出系统的最优状态值，然后下一时刻接着重复这个过程；卡尔曼不断的进行迭代，它不需要大量的粒子状态输入，只需要过程量，因此它的速度很快，非常适合线性系统的状态估计。 众所周知卡尔曼滤波在处理 IMU 传感器数据融合中作用巨大，但在实际实现起来并非那么容易；本文从 MPU6050 入手，分析卡尔曼滤波的使用。 本篇文章需要你在夜深人静的时候、先去冲一杯咖啡、准备一张纸、一支笔…… 卡尔曼滤波 从来没有坐下来认真的计算卡尔曼滤波的公式由来以及它背后更深层次的原理，为什么在处理加速度以及陀螺仪的数据融合中卡尔曼滤波就那么的有效。但是对于大多数人来说，可能更感兴趣的是如何正确的去使用它，卡尔曼滤波的那五个公式到底怎么使用。 开始之前需要你具备一定的矩阵乘法、矩阵变换等知识，大家都知道矩阵乘法的重要性，不夸张的说，不懂矩阵乘法根本做不了复杂的模型。当然本篇涉及到的矩阵乘法没那么复杂，如果忘记了请翻大学时的课本脑补，或参考以下网站: http://en.wikipedia.org/wiki/Matrix_multiplication#Matrix_product_.28two_matrices.29 http://www.mathwarehouse.com

协方差矩阵和散布矩阵的意义 【 尊重 原创，转载请注明出处 】http://blog.csdn.net/guyuealian/article/details/68922981 在机器学习模式识别中，经常需要应用到协方差矩阵C和散布矩阵S。如在 PCA主成分分析中 ，需要计算样本的散度矩阵，有的论文是计算协方差矩阵 。 实质上二者意义差不多，散布矩阵（散度矩阵）前乘以系数 1/(n-1) 就可以得到协方差矩阵了。 在模式识别的教程中，散布矩阵也称为散度矩阵，有的也称为类内离散度矩阵或者类内离差阵，用一个等式关系可表示为： 关系： 散度矩阵 = 类内离散度矩阵 = 类内离差阵 = 协方差矩阵 × （ n-1 ） 样本的协方差矩阵乘以 n-1 倍即为散布矩阵， n 表示样本的个数， 散布矩阵的大小由特征维数 d 决定， 是一个为 d × d 的半正定矩阵。 一、协方差矩阵的基础 对于二维随机变量（X,Y）之间的相互关系的数字特征，我们用协方差来描述，记为Cov(X,Y)： 那么二维随机变量 (X,Y) 的 协方差矩阵，为 ： 对于三 维随机变量 X = （ X 1 , X 2 , X 3 ） 的协方差矩阵可表示为： 对于 n 维 X = （ X 1 , X 2 ....X n ） 协方差矩阵： 说明： （1）协方差矩阵是一个 对称矩阵 ，且是 半正定矩阵 ，主对角线是各个随机变量 的方差

三、特征值和特征向量的应用实例 1、主成分分析（Principle Component Analysis, PCA） （1）方差、协方差、相关系数、协方差矩阵 方差： 协方差： , , **方差是衡量单变量的离散程度，协方差是衡量两个变量的相关程度（亲疏），协方差越大表明两个变量越相似（亲密），协方差越小表明两个变量之间相互独立的程度越大。 相关系数： ， **协方差和相关系数都可以衡量两个表明的相关程度，协方差未消除量纲，不同变量之间的协方差大小不能直接比较，而相关系数消除了量纲，可以比较不同变量之间的相关程度。 协方差矩阵： 如果有两个变量X，Y，那么协方差矩阵为 ，协方差阵说明了样本中变量间的亲疏关系。 （2）主成分分析的思想和算法 　　主成分分析是利用降维的思想，将多个变量转化为少数几个综合变量（即主成分），其中每个主成分都是原始变量的线性组合，各主成分之间互不相关，从而这些主成分能够反映始变量的绝大部分信息，且所含的信息互不重叠。它是一个线性变换，这个变换把数据变换到一个新的 坐标系统 中，使得任何数据投影的 第一大方差在第一个坐标 (称为第一主成分)上， 第二大方差在第二个坐标 (第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。 　　假设用 p 个变量来描述研究对象，分别用X 1 ，X 2 …X p 来表示，这 p