特征向量

要求：主成分分析：步骤、应用及代码实现 目的： 降维。 简介： 通俗易懂见详解：https://www.matongxue.com/madocs/1025.html 这里举一个例子帮助理解。 首先我们观察一下下面这个矩阵： 会发现，这个矩阵的第一列，第二列，第四列这三个列向量在空间中的指向是没有变的，仅仅只是缩放了相应的倍数而已，所以这个看起来是四维度矩阵其实是个二维矩阵。看到这你可能开始迷惑了，为啥是二维，这个矩阵不是有四个列向量吗？鲁迅曾经说过：不要被表象迷惑了双眼。好吧，不管这句话是不是鲁迅说的，但总之，仔细想想我们就会发现，第一、二、四个列向量它们都处在同一条直线上，用线性代数的语言来说，就是这三个列向量张成的空间是一条直线，那在加上第三个列向量所张成的直线，那这个矩阵不就只代表了一个二维平面嘛！所以说，这个四维的矩阵其实只是一个二维矩阵而已！ 到这里，我们就会顺理成章产生这样的想法：既然是一个二维的矩阵，干嘛不用二维的形式呢？所以自然地我们就会想到要找一个办法让这个矩阵降维，让它把冗余数据给去掉，只留下它的主成分。我们可以把上面的矩阵看成是一个四维空间中的二维平面，既然是二维平面，就应该在二维平面上重建一个坐标系，这样就可以把原来的列向量都表示出来，也就是说，这四个列向量在空间中没有变，只是我们换了一个参考系，表征它们的值也就变了，原来需要四个数（x，y，z，r

1. 定义 任意满足等式： 的向量，称为变换T的特征向量，向量前的比例因子称为特征向量的特征值： 为什么要讨论特征向量和特征值？因为特征向量是一组很好的基向量，变换矩阵在计算上非常简单。零向量无法作为基向量 2. 特征值公式 证明： 假设 因此 因为向量v不等于0向量，所以B的零空间包含有非平凡元素，所以B的列向量是线性相关的，所以B不可逆，所以B的行列式等于0： 来源： CSDN 作者： 老青蛙嘎嘎嘎 链接： https://blog.csdn.net/gutsyfarmer/article/details/104456603

主成分分析的基本概念 主成分分析（Principal Component Analysis，PCA）是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。 主成分分析的意义 对于一组数据X，存在以下特征{x1,x2,x3},这些特征之间可能存在一些关联性，主成分分析就是利用代表数据之间关联性的协方差矩阵来去除数据的关联性，找到一组数据中最关键的要素。 举一个简单的例子，比如对于一组深海鱼的数据，有身长，体重，游速，体温等等。但是如果我们用这些数据来描述一条深海鱼，那就过于复杂了。显然，即使凭借我们从先验的感官中，就可以看出鱼的身长和体重这两组数据是有高度重合性的，身长长的鱼类体重必然沉。那么我们可不可以把这两种鱼类特征合并到一起呢。因为对于数据的分析而言，少了一个数据，就让整数据的空间下降了一个维度，这是十分必要的。 主成分分析用到的数学工具 协方差矩阵 协方差矩阵是利用标准化过后特征矩阵的转置乘以它本身来得到的，它是一个对角矩阵，用来表示特征与特征之间的关联性。 特征值与特征向量 一个矩阵的特征向量表示在乘以这个矩阵后只发生长度变化而不发生方向变化的向量，而特征值是这些向量乘以矩阵后的变化的程度。因此，求矩阵的特征向量，本质上是将矩阵分解为相互独立正交的向量，而特征值是这些向量对于矩阵本身影响的重要程度

此部分是计算机视觉部分，主要侧重在底层特征提取，视频分析，跟踪，目标检测和识别方面等方面。对于自己不太熟悉的领域比如摄像机标定和立体视觉，仅仅列出上google上引用次数比较多的文献。有一些刚刚出版的文章，个人非常喜欢，也列出来了。 33. SIFT 关于SIFT，实在不需要介绍太多，一万多次的引用已经说明问题了。SURF和PCA-SIFT也是属于这个系列。后面列出了几篇跟SIFT有关的问题。 [1999 ICCV] Object recognition from local scale-invariant features [2000 IJCV] Evaluation of Interest Point Detectors [2006 CVIU] Speeded-Up Robust Features (SURF) [2004 CVPR] PCA-SIFT A More Distinctive Representation for Local Image Descriptors [2004 IJCV] Distinctive Image Features from Scale-Invariant Keypoints [2010 IJCV] Improving Bag-of-Features for Large Scale Image Search [2011 PAMI]

参考：https://www.zhihu.com/question/21874816 如何理解矩阵特征值？ 想要理解特征值，首先要理解矩阵相似。什么是矩阵相似呢？从定义角度就是：存在可逆矩阵P满足B＝ 则我们说A和B是相似的。让我们来回顾一下之前得出的重要结论：对于同一个线性空间，可以用两组不同的基 和基 来描述，他们之间的过渡关系是这样的： ，而对应坐标之间的过渡关系是这样的： 。其中P是可逆矩阵，可逆的意义是我们能变换过去也要能变换回来，这一点很重要。 我们知道，对于一个线性变换，只要你选定一组基，那么就可以用一个矩阵T1来描述这个线性变换。换一组基，就得到另一个不同的矩阵T2（之所以会不同，是因为选定了不同的基，也就是选定了不同的坐标系）。所有这些矩阵都是这同一个线性变换的描述，但又都不是线性变换本身。具体来说，有一个线性变换 ，我们选择基 来描述，对应矩阵是 ；同样的道理，我们选择基 来描述 ，，对应矩阵是 ；我们知道基 和基 是有联系的，那么他们之间的变换 和 有没有联系呢？ 当然有， 和 就是相似的关系，具体的请看下图： <img src="https://pic1.zhimg.com/6cf43eca0f26cb1752f8fbf2633b699c_b.jpg" data-rawwidth="721" data-rawheight="449" class

一、softmax函数简介 softmax作为输出层的激励函数，在机器学习中常被看作是一种多分类器。通俗的意思就是，将一个物品输入，得出其中可能属于的类别概率（soft），最后得出最大可能性的判别（max）。下图为softmax的具体计算流程： 其中，3、1、-3为输入值，计算以e为底的幂，之后求各类别之和 ，每个类别的输出值为 ，保证了各个类别输出值总和 ≤ 1（即： ）。 比如下图所,j假设有7张图，分别为飞机、汽车、轮船、猫、狗、鸟、太阳，则图像的分类标签如下表示： 这种激励函数通常用在神经网络的最后一层作为分类器的输出，有7个节点就可以做7个不同类别的判别，有1000个节点就可以做1000个不同样本类别的判断。 二、softmax函数优劣性分析 优点：不同类之间分类准确 softmax比hardmax（本文暂且称为，即利用输入本身的值计算输出值： )）更容易实现one-hot目标，即放大某一类可能性与其他类的差值，方便实现不同类之间的分类判定。两者差异性见下图： 缺点：类间紧凑，不满足进行人脸识别中特征向量对比需求 人脸识别中特征向量相似度计算，常用欧式距离（L2 distance）和余弦距离（cosine distance），下面讨论特征向量相似度对比情况： 欧式距离： 欧式距离越小，向量相似度越高。可能同类的特征向量距离（黄色）比不同类的特征向量距离（绿色）更大

图像特征提取三大法宝：HOG特征，LBP特征，Haar特征 （一）HOG特征 1、HOG特征： 方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的，而如今虽然有很多行人检测算法不断提出，但基本都是以HOG+SVM的思路为主。 （1）主要思想： 在一副图像中，局部目标的表象和形状（appearance and shape）能够被梯度或边缘的方向密度分布很好地描述。（本质：梯度的统计信息，而梯度主要存在于边缘的地方）。 （2）具体的实现方法是： 首先将图像分成小的连通区域，我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。 （3）提高性能： 把这些局部直方图在图像的更大的范围内（我们把它叫区间或block）进行对比度归一化（contrast-normalized），所采用的方法是：先计算各直方图在这个区间（block）中的密度，然后根据这个密度对区间中的各个细胞单元做归一化

LBP（ Local Binary Pattern ，局部二值模式）是一种用来描述图像 局部纹理特征 的算子；它具有旋转不变性和灰度不变性等显著的优点。它是首先由 T. Ojala, M.Pietikäinen, 和 D. Harwood 在 1994 年提出，用于纹理特征提取。而且，提取的特征是图像的局部的纹理特征； 1 、 LBP 特征的描述 原始的 LBP 算子定义为在 3*3 的窗口内，以窗口中心像素为阈值，将相邻的 8 个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为 1 ，否则为 0 。这样， 3*3 邻域内的 8 个点经比较可产生 8 位二进制数（通常转换为十进制数即 LBP 码，共 256 种），即得到该窗口中心像素点的 LBP 值，并用这个值来反映该区域的纹理信息。如下图所示： LBP 的改进版本： 原始的 LBP 提出后，研究人员不断对其提出了各种改进和优化。 （ 1 ）圆形 LBP 算子： 基本的 LBP 算子的最大缺陷在于它只覆盖了一个固定半径范围内的小区域，这显然不能满足不同尺寸和频率纹理的需要。为了适应不同尺度的纹理特征，并达到灰度和旋转不变性的要求， Ojala 等对 LBP 算子进行了改进，将 3 × 3 邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，改进后的 LBP 算子允许在半径为 R

目标： 1）创建图的表征矩阵 2）分解：计算矩阵的特征值和特征向量；基于一个或多个特征值，将每个点表示成低维的表征 3）分组：基于新的表征，进行聚类 例如，二分图中如何确定好的分类？类间差异大，类内差异小 最小割集 考虑： 1）团外的连接性 2）团内的连接性 评价方式： 团间的连接性与每个团的密度相关 spectral graph partitioning 谱图分割 无向图G的邻接矩阵A x是n维的特征向量，可认为是G中每个节点的label或者value 那么Ax等到的结果的意义是？ yi是节点i的邻居节点的label的和 通过yi生成新的x value 谱图理论： 分析G的表征矩阵的spectrum spectrum的意义： 图的特征向量xi，（由特征值大小排序而得） 一个例子：假设G中的所有节点的度都有d，G是连通的。那么，G的特征值和特征向量是？ d是A的最大特征值 若G不是完全连通的 矩阵表征 邻接矩阵：对称矩阵，有n个特征值，特征向量是实数且是正交的 度矩阵： 拉普拉斯矩阵：L=D-A 对称矩阵 λ=λ1=0 ？？ 特征值为非负实数 特征向量是实数且永远正交 对于对称矩阵M，λ2的值由一公式可定 为xi--xj的平方和 找到最优的x 发现最优的割法 谱聚类算法： 1）图的表征矩阵 2）矩阵的特征值和特征向量；基于特征向量生成每个店的低维向量 3）分组 例子 k-way

信息传播和节点分类 给定网络中一些节点的label，如何确定其他节点的label 例如，一个网络中一些节点是诈骗犯，一些节点是可信度高的人，那么如何判断其他节点？ 半年监督节点分类 协作分类：collective classification 利用网络中的关联关系 接下来，今天会学3个技巧： 1）relational classification ： 关系分类 2）iterative classification：迭代分类 3）belief propagation：置信传播 网络中的关联存在 导致相关关系的3类主要依赖类型： 1）趋同性 2）影响力 3）交互性？ 预测米黄色的节点的label 1）相似的节点通常会紧密关联或者直接相连 2）节点的label通常依赖于：节点的特征；节点的邻居；节点邻居的特征 假设网络具备趋同性，那么预测灰色节点的label W：带权重的连接矩阵 Y：label +1，-1,0（待打标签） 使用节点间的相互关联关系进行分类 马尔科夫假设：节点i的label yi由他的邻居们Ni决定 分为三步：1）local classifier：分配初始的label 2）relational classifier：捕捉节点间的关联关系 3）collective inference:相关关系的传播 local classifier: 使用节点自身属性进行分类