特征向量

REFERENCE: https://www.jianshu.com/p/ad528c40a08f https://www.zhihu.com/question/54504471 Notes: 离散卷积的本质是加权求和 CNN中的卷积本质上就是利用一个共享参数的过滤器（kernel），通过计算中心像素点以及相邻像素点的加权和来构成feature map实现空间特征的提取，当然加权系数就是卷积核的权重系数。 那么卷积核的系数如何确定的呢？是随机化初值，然后根据误差函数通过反向传播梯度下降进行迭代优化。这是一个关键点，卷积核的参数通过优化求出才能实现特征提取的作用，GCN的理论很大一部分工作就是为了引入可以优化的卷积参数。 CNN在Computer Vision里效果为什么好呢？原因：可以很有效地提取空间特征。 但是有一点需要注意：CNN处理的图像或者视频数据中像素点（pixel）是排列成成很整齐的矩阵。（欧几里得距离Euclidean Structure） 与之相对应，科学研究中还有很多Non Euclidean Structure的数据，如图3所示。社交网络、信息网络中有很多类似的结构。 Graph Convolutional Network中的Graph是指数学（图论）中的用顶点和边建立相应关系的拓扑图。 那么为什么要研究GCN？ 原因有三： 1)CNN无法处理Non

此文为《python数据分析和数据挖掘》的读书笔记 通俗讲，经过我们前期的数据分析，得到了数据的缺陷，那么我们现在要做的就是去对数据进行预处理，可包括四个部分：数据清洗、数据集成、数据变换、数据规约。 处理过程如图所示: 1、数据清洗 1) 缺失值处理： 删除记录、数据插补、不处理。不处理吧总感觉不自在，删除了吧数据又有点舍不得，所以一般插补方法用的比较多，该文重点介绍Lagrange插补法和牛顿插补法，并介绍代码。 偷点懒他的详细过程我截图好了。 a 拉格朗日插补法 b 牛顿插补法 但是由于python中的Scipy库中提供了Lagrange插值法的函数，实现上更为容易，应用较多。而牛顿插值法则需要根据自行编写。需要指出两者给出的结果是相同的（相同次数、相同系数的多项式），不过表现的形式不同而已。 二话不说贴上亲测的python代码： import pandas as pd from scipy.interpolate import lagrange#导入拉格朗日函数 import sys sys.__stdout__=sys.stdout inputfile='catering_sale.xls'#销售数据途径 outputfile='tmp/sales.xls'#输出数据途径 data=pd.read_excel(inputfile,Index_col=u'日期')#读入数据

使用Python一步步实现PCA算法 标签： PCA Python 本文原地址为： http://sebastianraschka.com/Articles/2014_pca_step_by_step.html Implementing a Principal Component Analysis (PCA) – in Python, step by step Apr 13, 2014 by Sebastian Raschka 此篇为翻译作品，仅作为学习用途。 简介 主成分分析（PCA）的主要目的是通过分析发现数据的模式进行维度的缩减，这个过程的原则是信息损失最小化。 我们希望得到的结果，把初始特征空间映射到一个相对低维度的子空间，同时保证这个低维度空间也能够很好的表达数据的有效信息。在模式分类中，我们希望通过降维操作抽取能够最佳表达数据的特征子集来降低运算时间花费，减少参数估计的误差。 主成分分析（PCA） vs 多元判别式分析（MDA） PCA和MDA都是线性变换的方法，二者关系密切。在PCA中，我们寻找数据集中最大化方差的成分，在MDA中，我们对类间最大散布的方向更感兴趣。 一句话，通过PCA，我们将整个数据集（不带类别标签）映射到一个子空间中，在MDA中，我们致力于找到一个能够最好区分各类的最佳子集。粗略来讲，PCA是通过寻找方差最大的轴（在一类中

本文作为Jerry最近正在做的一个项目的工作思路的梳理。 我们假设这样一个服务场景，技师上门维修某设备，发现设备上某零件损坏了，假设这位技师由于种种原因，没能根据自己的经验识别出这个零件的型号。此时技师掏出自己的手机，给零件拍摄一张图片，这张图片通过手机上安装的SAP某智能解决方案，传送到SAP Leonardo平台，通过那里的人工智能服务，自动识别出这张图片上面零件的准确型号，返回给技师。 SAP Leonardo上的人工智能服务，在接收到技师上传的图片后，通过某种算法将该图片的特征向量提取出来，然后再通过平台上基于大量数据集训练好的模型，识别出准确型号。因此，图片特征向量的提取，成为了这个智能解决方案的首要步骤。 什么是图片的特征向量？特征向量的提取，从数学上说，就是通过某种算法，把输入图片的二进制流，转换成一个向量(一维矩阵)的过程。 以下面这张图里的梯形和圆形为例，我们把图形均匀地分成9个区域，在图形中心观察每个区域内图形单元的梯度方向，就可以实现降维，把二维图像以一个一维矩阵来表示。 当然实际的图形轮廓识别和降维处理采用的算法比这个例子复杂得多，Jerry也不懂。幸运的是，对SAP partners来说，不需要了解这里面的数学知识和技术知识，简单地把SAP Leonardo上的人工智能服务当成一个黑盒子，通过Restful API的方式，把要提取特征向量的图片“喂

协方差矩阵和散布矩阵的意义 【 尊重 原创，转载请注明出处 】http://blog.csdn.net/guyuealian/article/details/68922981 在机器学习模式识别中，经常需要应用到协方差矩阵C和散布矩阵S。如在 PCA主成分分析中 ，需要计算样本的散度矩阵，有的论文是计算协方差矩阵 。 实质上二者意义差不多，散布矩阵（散度矩阵）前乘以系数 1/(n-1) 就可以得到协方差矩阵了。 在模式识别的教程中，散布矩阵也称为散度矩阵，有的也称为类内离散度矩阵或者类内离差阵，用一个等式关系可表示为： 关系： 散度矩阵 = 类内离散度矩阵 = 类内离差阵 = 协方差矩阵 × （ n-1 ） 样本的协方差矩阵乘以 n-1 倍即为散布矩阵， n 表示样本的个数， 散布矩阵的大小由特征维数 d 决定， 是一个为 d × d 的半正定矩阵。 一、协方差矩阵的基础 对于二维随机变量（X,Y）之间的相互关系的数字特征，我们用协方差来描述，记为Cov(X,Y)： 那么二维随机变量 (X,Y) 的 协方差矩阵，为 ： 对于三 维随机变量 X = （ X 1 , X 2 , X 3 ） 的协方差矩阵可表示为： 对于 n 维 X = （ X 1 , X 2 ....X n ） 协方差矩阵： 说明： （1）协方差矩阵是一个 对称矩阵 ，且是 半正定矩阵 ，主对角线是各个随机变量 的方差

GRAPH ATTENTION NETWORKS 【GATs】 本文提出了图注意力网络（GATs），这是一种新的作用在图结构数据上的神经网络框架。 作者利用注意力机制已达到对节点分类的任务取得更好的效果。 Cora数据集： 包含2708个节点，每个样本点都是一篇科学论文，5429个边 每篇论文都由一个1433维的词向量表示，即每个节点1433个特征。 GAT 网络架构 通过堆叠单个的图注意力层（Graph Attentional Layer）来构建任意的图注意力网络。 单个图注意力层（Graph Attentional Layer） 输入:图中所有节点特征向量的集合 N 是图中总结点数, F是每个节点的特征数 输出：图中节点更新后的特征向量的集合（更新后新的特征向量的维数可能与之前的特征向量维数不同） 步骤 一、Input : 例如：输入h1,h2,h3三个节点 二、为了能够让特征更具表达能力，采用了线性变换先对原始特征进行处理 上面输入的三个节点变换以后如下图 三、计算注意力系数 a是注意力机制，在代码中也是以矩阵的形式表现 四、为了使系数在不同节点之间易于比较，我们使用softmax函数在j的所有选项中对它们进行标准化： 五、得到标准化的系数以后，就利用关注系数与对应的节点特征做线性变换，再进行一次非线性变换后，作为节点特征的输出。 multi-head attention

转载：http://redstonewill.com/1529/ 普通方阵的矩阵分解（EVD） 我们知道如果一个矩阵 A 是方阵，即行列维度相同（mxm），一般来说可以对 A 进行特征分解： 其中，U 的列向量是 A 的特征向量，Λ 是对角矩阵，Λ 对角元素是对应特征向量的特征值。 举个简单的例子，例如方阵 A 为： 那么对其进行特征分解，相应的 Python 代码为： 1 import numpy as np 2 3 A = np.array([[2,2],[1,2]]) 4 lamda, U = np.linalg.eig(A) # 特征向量和特征值 5 print('方阵 A', A) 6 print('特征值 lamda', lamda) 7 print('特征向量 U', U) 8 9 # 输出 10 # 方阵 A [[2 2] 11 # [1 2]] 12 # 特征值 lamda [3.41421356 0.58578644] 13 # 特征向量 U [[ 0.81649658 -0.81649658] 14 # [ 0.57735027 0.57735027]] 特征分解就是把 A 拆分，如下所示： 其中，特征值 λ1=3.41421356，对应的特征向量 u1=[0.81649658 0.57735027]；特征值 λ2=0.58578644，对应的特征向量 u2=

第二章 机器学习中的线性代数知识 线性代数作为数学中的一个重要的分支，广发应用在科学与工程中。掌握好线性代数对于理解和从事机器学习算法相关的工作是很有必要的，尤其是对于深度学习而言。因此，在开始介绍深度学习之前，先集中探讨一些必备的线性代数知识。 2.1 标量，向量，矩阵和张量 标量（scalar） ：一个标量就是一个单独的数。用斜体表示标量，如 s ∈ R //--> . 向量（vector） ：一个向量是一列数，我们用粗体的小写名称表示向量。比如 x //--> ，将向量 x //--> 写成方括号包含的纵柱： x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ x 1 x 2 ⋮ x n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ //--> 矩阵（matrix） ：矩阵是二维数组，我们通常赋予矩阵粗体大写变量名称，比如 A ​ //--> 。如果一个矩阵高度是 m ​ //--> ，宽度是 n ​ //--> ，那么说 A ∈ R m × n ​ //--> 。一个矩阵可以表示如下： A = [ x 11 x 21 x 12 x 22 ] //--> 张量（tensor） ：某些情况下，我们会讨论不止维坐标的数组。如果一组数组中的元素分布在若干维坐标的规则网络中，就将其称为张量。用 A ​ //--> 表示，如张量中坐标为 ( i , j , k ) ​ //--> 的元素记作 A i , j , k ​ //-

三、特征值和特征向量的应用实例 1、主成分分析（Principle Component Analysis, PCA） （1）方差、协方差、相关系数、协方差矩阵 方差： 协方差： , , **方差是衡量单变量的离散程度，协方差是衡量两个变量的相关程度（亲疏），协方差越大表明两个变量越相似（亲密），协方差越小表明两个变量之间相互独立的程度越大。 相关系数： ， **协方差和相关系数都可以衡量两个表明的相关程度，协方差未消除量纲，不同变量之间的协方差大小不能直接比较，而相关系数消除了量纲，可以比较不同变量之间的相关程度。 协方差矩阵： 如果有两个变量X，Y，那么协方差矩阵为 ，协方差阵说明了样本中变量间的亲疏关系。 （2）主成分分析的思想和算法 　　主成分分析是利用降维的思想，将多个变量转化为少数几个综合变量（即主成分），其中每个主成分都是原始变量的线性组合，各主成分之间互不相关，从而这些主成分能够反映始变量的绝大部分信息，且所含的信息互不重叠。它是一个线性变换，这个变换把数据变换到一个新的 坐标系统 中，使得任何数据投影的 第一大方差在第一个坐标 (称为第一主成分)上， 第二大方差在第二个坐标 (第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。 　　假设用 p 个变量来描述研究对象，分别用X 1 ，X 2 …X p 来表示，这 p

均值： 描述的是样本集合的中间点。 方差： 描述的是样本集合的各个样本点到均值的距离之平均，一般是用来描述一维数据的。 协方差： 是一种用来度量两个随机变量关系的统计量。 只能处理二维问题。 计算协方差需要计算均值。 如下式： 方差与协方差的关系 方差是用来度量单个变量 “ 自身变异”大小的总体参数，方差越大表明该变量的变异越大 协方差是用来度量两个变量之间 “协同变异”大小的总体参数，即二个变量相互影响大小的参数，协方差的绝对值越大，则二个变量相互影响越大。 协方差矩阵： 协方差矩阵能处理多维问题； 协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。 协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。 样本矩阵中若每行是一个样本，则每列为一个维度，所以计算协方差时要 按列计算均值 。 如果数据是3维，那么协方差矩阵是： 特征值与 特征向量 线性变化： 线性变换 (线性映射)是在作用于 两个向量空间之间的函数 ，它保持 向量加法和标量乘法 的运算，从一个向量空间变化到另一个向量空间。 实际上线性变换表现出来的就是一个矩阵 。 特征值和特征向量 是一体的概念： 对于一个给定的线性变换（矩阵A），它的特征向量 ξ 经过这个线性变换之后，得到的新向量仍然与原来的 ξ 保持在同一條直線上，但其长度也许會改变。一个特征向量的长度在该线性变换下缩放的比例(λ)称为其特征值