空间向量

支持向量机是一个二类分类模型，但也能够扩展为多类分类。 其基于间隔最大化和核技巧的特点能够使它能够灵活处理线性或非线性分类问题。 支持向量机但是形式化为一个凸二次规划问题。学习算法是求解基于 凸二次规划的最优化算法 。 依照训练数据是否线性可分。支持向量机能够分为基于硬间隔的线性可分支持向量机、基于软间隔的线性支持向量机、基于核技巧和软间隔最大化的非线性支持向量机。 三者复杂性是依次添加的。 1、基于硬间隔最大化的线性可分支持向量机 我们知道。感知机和决策树等学习方法没有区分模型的输入空间和特征空间，即觉得两者所处的空间是一样的。 支持向量机的输入空间和特征空间是不同的。输入空间为欧氏空间或离散集合。特征空间是 希尔伯特空间 。 希尔伯特空间能够看作是欧氏空间的扩展，其空间维度能够是随意维的，包括无穷维。并且一个重要的性质是其具有欧氏空间不具备的完备性。 这些特点都是支持向量机在做非线性特征空间映射所须要的。 以下从最简单的线性可分支持向量机入手，学过感知机的都知道，感知机通过训练一个超平面将平面或空间线性可分的点进行划分。 其超平面方程为 w∙x+b=0； 分类决策函数f(x)=sign(w∙x+b)。 线性可分支持向量机也是如此，通过找寻切割平面来划分数据集。不同的是， 感知机的学习策略是误分类点到超平面距离和最小化，而线性可分支持向量机是基于硬间隔最大化的 。

1、vector的动态增长 　　当添加元素时，如果vector空间大小不足，则会 以原大小的两倍另外配置一块较大的新空间，然后将原空间内容拷贝过来 ， 在新空间的内容末尾添加元素，并释放原空间 。vector的空间动态增加大小，并不是在原空间之后的相邻地址增加新空间，因为vector的空间是 线性连续 分配的，不能保证原空间之后有可供配置的空间。因此，对vector的任何操作，一旦引起空间的重新配置， 指向原vector的所有迭代器就会失效 。 vector的size(),capacity(),reserve(),resize()函数： vector对象的内存布局如下图所示： start迭代器指向已用空间的首元素，finish指向已用空间的尾元素的下一个位置，end_of_storage指向可用空间的末尾。 size()函数返回的是已用空间大小，capacity()返回的是总空间大小，capacity()-size()则是剩余的可用空间大小。当size()和capacity()相等，说明vector目前的空间已被用完，如果再添加新元素，则会引起vector空间的动态增长。 由于动态增长会引起重新分配内存空间、拷贝原空间、释放原空间，这些过程会降低程序效率。因此，可以使用reserve(n)预先分配一块较大的指定大小的内存空间，这样当指定大小的内存空间未使用完时

C++ STL之vector用法总结 介绍 vector是表示可变大小数组的序列容器。 就像数组一样，vector也采用的连续存储空间来存储元素。也就是意味着可以采用下标对vector的元素进行访问，和数组一样高效。但是又不像数组，它的大小是可以动态改变的，而且它的大小会被容器自动处理。 本质讲，vector使用动态分配数组来存储它的元素。当新元素插入时候，这个数组需要被重新分配大小为了增加存储空间。其做法是，分配一个新的数组，然后将全部元素移到这个数组。就时间而言，这是一个相对代价高的任务，因为每当一个新的元素加入到容器的时候，vector并不会每次都重新分配大小。 vector分配空间策略：vector会分配一些额外的空间以适应可能的增长，因为存储空间比实际需要的存储空间更大。不同的库采用不同的策略权衡空间的使用和重新分配。但是无论如何，重新分配都应该是对数增长的间隔大小，以至于在末尾插入一个元素的时候是在常数时间的复杂度完成的。 因此，vector占用了更多的存储空间，为了获得管理存储空间的能力，并且以一种有效的方式动态增长。 与其它动态序列容器相比（deques, lists and forward_lists）， vector在访问元素的时候更加高效，在末尾添加和删除元素相对高效。对于其它不在末尾的删除和插入操作，效率更低。比起lists和forward

[论文学习以及翻译]TDN: An Integrated Representation Learning Model of Knowledge Graphs 文章主要内容 摘要 前言 相关工作 基于TDN的表示的框架结构 方法 文本信息的表示 网络结构的embedding方法 模型训练过程 定义 训练 过程 实验 数据集 实验的参数设置 链接预测 实验结果分析 结论 读后感 文章下载链接：https://github.com/ciecus/papers/blob/master/%E7%9F%A5%E8%AF%86%E5%92%8C%E8%AF%AD%E4%B9%89%E7%BB%93%E5%90%882019%E5%B9%B4%E6%96%B0%E6%96%87%E7%AB%A0/TDN-%20An%20Integrated%20Representation%20Learning%20Model%20of%20Knowledge%20Graphs.pdf 文章代码链接：暂无 文章主要内容 摘要 知识图谱在人工智能领域起到了非常重要的作用。知识图谱致力于将实体和关系投影到连续的低维空间中。这种表示学习的方法可以通过预测潜在的三元组（head，relation，tail）用来完善知识图。在现有的方法种，人们主要集中于利用已有的三元组知识，但是忽略了融合文本信息和知识网的拓扑结构

本篇文章是对《Geodesic Flow Kernel for Unsupervised Domain Adaptation》的学习。 格拉斯曼流形 在讲述GFK之前我们先引入一个概念，即格拉斯曼流形。百度百科中的定义： 设W是n维向量空间，考虑W中全体k维子空间构成的集合G=Grass(k,W)，因为G上有自然的流形结构，所以我们将它称为格拉斯曼流形。 关于这个定义我们并不需要深究，只要知道n维空间的所有k维子空间构成了一个流形结构即可。 1 SGF 之前博客讲的方法均是将源域和目标域数据映射到同一个空间中，SGF（Sampling Geodesic Flow）则引入了格拉斯曼流形，将源域和目标域看做这个流形结构中的两个点，并构建从源域到目标域的测地线，测地线上的每个点可以看作是一个子空间，通过将数据映射在该测地线上的不同子空间，并进行分析，学习算法可以很好地提取较为恒定的特征（即在子空间变化的过程中较为稳定的一部分）。一个直观的理解就是汽车出发地驶向目的地，这个过程中车身会位移，会旋转，运气不好出现点剐蹭还会发生一些形变，但整个过程车的型号、车牌号、具体的一些硬件配置等等是不会变化的，对车辆在行驶过程的影像进行分析，可以获取这些稳定的特征，用于接下来的特定任务场景中。 SGF的步骤大体如下：（1）构建连接源域和目标域的测地线；（2）对测地线进行采样，获取若干子空间；（3

向量空间 向量空间一个最大的特征是对加法运算和数乘运算封闭。n维向量空间的定义是n维实向量全体构成的集合，同事考虑到向量的线性运算，成为实n维向量空间，用 R n 表示，显然 R n 中任意两个向量的和向量还是 R n 中的向量， R n 中任意一个向量与一个实数的乘积也是 R n 中的向量。 向量空间又称为线性空间 。 欧氏空间 欧氏空间也称为欧几里得空间，是带有“内积”的实数域上的一类 向量空间 。引入内积的目的是能够计算两点间的距离和夹角。向量空间中的向量对应于欧几里得平面中的点，在向量空间中的加法运算对应于欧几里得空间中的平移。 内积空间 暂时没有看出内积空间与欧式空间的差别 希尔伯特空间 希尔伯特空间即是 完备 的内积空间，首先说明一下完备性。完备空间或者完备度量空间是指空间中的任何 柯西序列 都收敛在该空间之内。柯西序列中的元素随着序数的增加而愈发靠近。更确切的说，在去掉优先个元素后，可以使得余下的元素中的任何两点间的距离的最大值不超过任意给定的正常数。 来源： https://www.cnblogs.com/adlu-ah/p/9544198.html

矩阵论 - Part II 文章目录 矩阵论 - Part II 概念索引 4 矩阵空间 概念索引 4 向量空间, 最大线性无关组, 线性(子)空间, 线性空间的维数, 基和坐标, 同构映射, 同构空间, 基变换, 过度矩阵, 坐标变换, 线性变换, 线性变换的矩阵表示, 相似矩阵 , 欧式空间, 內积, 范数, Schwartz不等式, 夹角, 规范正交基, Schmidt正交化过程, 正交矩阵 4 矩阵空间 向量空间 向量空间: n n n 维向量的集合 V V V , 如果对加法和数乘运算封闭, 则集合 V V V 称为 向量空间 生成向量空间 子空间 空间维数 0空间 最大线性无关组 : 向量组 A A A 中有 r r r 个向量(设为向量组 A 0 A_0 A 0 ​ )线性无关, 任意 r + 1 r+1 r + 1 个向量线性相关, 则称 A 0 A_0 A 0 ​ 是一个 最大线性无关组 , r r r 称为向量组的 秩 , 只含有0向量的向量组没有最大无关组, 规定其秩为 0 0 0 矩阵的秩等于其列向量组的秩, 也等于其行向量组的秩 向量组 B B B 可以由向量组 A A A 线性表示, 则向量组 B B B 的秩不大于向量组 A A A 的秩 等价的向量组秩相等 设 C = A B C = AB C = A B , 则 { R ( C ) ≤ R ( A

单词向量空间与话题向量空间 单词向量空间 话题向量空间 潜在语义分析算法 矩阵奇异值分解算法 例子 非负矩阵分解算法 非负矩阵分解 潜在语义分析模型 非负矩阵分解的形式 算法 来源： CSDN 作者： mkopvec 链接： https://blog.csdn.net/mkopvec/article/details/103866468

支持向量机（support vector machine, SVM）是一种二类分类模型，它的基本模型是 定义在特征空间上的间隔最大的线性分类器 ，间隔最大使它有别于感知机； 支持向量机还包括核技巧，这使它成为实质上的非线性分类器， 支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic programming）的问题， 也等价于正则化的合页损失函数的最小化问题，支持向量机的学习算法是求解凸二次规划的最优化算法。 支持向量机学习方法包含创建由简至繁的模型。 线性可分支持向量机、线性支持向量机及非线性支持向量机。 简单模型是复杂模型的基础，也是复杂模型的特殊情况。 当训练数据线性可分时，通过硬间隔最大化（hard margin maximization），学习一个线性的分类器，即 线性可分支持向量机 （也叫硬间隔支持向量机）。 当训练数据近似线性可分时，通过软间隔最大化，也学习一个线性的分类器，即 线性支持向量机 ， 又称为软间隔支持向量机； 当训练数据线性不可分时，通过使用核技巧（kenel trick）及软间隔最大化，学习 非线性支持向量机 。 当输入空间为欧式空间或者离散集合、特征空间为希尔伯特空间时，核函数（kernel function）表示将输入从输入空间映射到特征空间得到的特征向量之间的内积。 通过核函数可以学习非线性支持向量机

1 高维向量检索问题 高维向量检索主要解决由数据维数增加所引发检索速度急剧下降的的问题。高维空间中数据的特点主要包括以下三个方面： (1) 稀疏性。随着维度增长，数据在空间分布的稀疏性增强； (2) 空空间现象。对于服从正态分布的数据集，当维数大约增加到10时，只有不到1％的数据点分布在中心附近； (3) 维度效应。随着维数的增加，对索引的维护效率急剧下降，并且高维空间中数据点之间的距离接近于相等。 2 树索引方法在高维检索中的缺点 传统的树索引方法，如基于数据划分的索引R-tree、R-tree、SR-tree、k-d tree等和基于空间划分的索引quad-tree、kdb-tree等，在特征维度不高的情况下具有良好的性能，在特征维数足够高的情况下(超过几十维)，它们的性能会退化到最原始的顺序查找，这就是所谓的“维度灾难”。树索引方法在高维情况下主要面临着三个困难： (1) 每次划分只使用了特征向量一个维度的信息，在高维情况下这种数据划分方法效率很低； (2) 需要某种形状的覆盖对象来表示某个区域，而固定形状的覆盖对象对区域的描述会有偏差。在高维情况下这个偏差会更明显； (3) 为了获得精确最近邻检索的结果，索引的性能退化到顺序查找的程度。 3 ANN和LSH 由于精确最近邻搜索计算代价高、算法效率低，人们采用近似最近邻搜索方法完成检索的任务。当前