内积空间

向量是由n个实数组成的一个n行1列（n*1）或一个1行n列（1*n）的有序数组； 向量的点乘,也叫向量的内积、数量积，对两个向量执行点乘运算，就是对这两个向量对应位一一相乘之后求和的操作，点乘的结果是一个标量。 点乘公式 对于向量a和向量b： a和b的点积公式为： 要求一维向量a和向量b的行列数相同。 点乘几何意义 点乘的几何意义是可以用来表征或计算两个向量之间的夹角，以及在b向量在a向量方向上的投影，有公式： 推导过程如下，首先看一下向量组成： 定义向量： 根据三角形余弦定理有： 根据关系c=a-b（a、b、c均为向量）有： 即： 向量a，b的长度都是可以计算的已知量，从而有a和b间的夹角θ： 根据这个公式就可以计算向量a和向量b之间的夹角。从而就可以进一步判断这两个向量是否是同一方向，是否正交(也就是垂直)等方向关系，具体对应关系为： a·b>0 方向基本相同，夹角在0°到90°之间 a·b=0 正交，相互垂直 a·b<0 方向基本相反，夹角在90°到180°之间 叉乘公式 两个向量的叉乘，又叫向量积、外积、叉积，叉乘的运算结果是一个向量而不是一个标量。并且两个向量的叉积与这两个向量组成的坐标平面垂直。 对于向量a和向量b： a和b的叉乘公式为： 其中： 根据i、j、k间关系，有： 叉乘几何意义 在三维几何中，向量a和向量b的叉乘结果是一个向量，更为熟知的叫法是法向量

函数空间 1.距离：从具体到抽象 2.范数 3.内积 4.拓扑 本博文为观看《上海交通大学公开课-数学之旅-函数空间 》所整理笔记，公开课视频连接：http://open.163.com/newview/movie/free?pid=M8PTB0GHI&mid=M8PTBUHT0 数学中的空间 是 大家研究工作的 对象 和这些对象遵循的 规则 组成的。数学空间的两个核心要素：元素和结构（线性结构和拓扑结构）（砖块为一个个元素，按照一定的结构盖成房子，就有了空间。房子是一个空间，但是一堆任意的砖，不一定是房子，因为，没有说明结构问题） 说到 距离 ，大多数人脑海里最熟悉的就是两点之间的欧式距离。实际生活中还有很多很多的距离：地球仪上两个地点的距离、城区距离、两条曲线之间的距离（取最大差异为距离，当最大差异都为0，两条曲线才为一条。） 1.距离：从具体到抽象 两个向量之间的距离 ， x = ( x 1 , . . . , x n ) x=(x_1,...,x_n) x = ( x 1 ​ , . . . , x n ​ ) 到 y = ( y 1 , . . . , y n ) y=(y_1,...,y_n) y = ( y 1 ​ , . . . , y n ​ ) 之间的距离，可以用下面三种方式衡量： 1.两向量（点）之间的欧几里得距离： d 1 ( x , y ) = ( x 1

向量的内积（点乘） 定义 概括地说，向量的 内积 （点乘/数量积）。对两个向量执行点乘运算，就是对这两个向量对应位一一相乘之后求和的操作，如下所示，对于向量a和向量b： a和b的点积公式为： 这里要求一维向量a和向量b的行列数相同。 注意：点乘的结果是一个标量(数量而不是向量) 定义 ：两个向量 a 与 b 的内积为 a · b = | a || b |cos∠(a, b)，特别地， 0 · a = a · 0 = 0；若 a ， b 是非零向量，则 a 与 b****正交 的充要条件是 a · b = 0。 向量内积的性质： a ^2 ≥ 0；当 a ^2 = 0时，必有 a = 0. （正定性） a · b = b · a . （对称性） (λ a + μ b )· c = λ a · c + μ b · c ，对任意实数λ, μ成立. （线性） cos∠( a , b ) = a · b /(| a || b |). | a · b | ≤ | a || b |，等号只在 a 与 b 共线时成立. 向量内积的几何意义 内积（点乘）的几何意义包括： 表征或计算两个向量之间的夹角 b向量在a向量方向上的投影 有公式： 推导过程如下，首先看一下向量组成： 定义向量 c ： 根据三角形余弦定理（这里a、b、c均为向量，下同）有： 根据关系 c = a - b 有： 即： a∙b=|a

转自原创出处：http://blog.csdn.net/dcrmg/article/details/52416832 向量是由n个实数组成的一个n行1列（n*1）或一个1行n列（1*n）的有序数组； 向量的点乘,也叫向量的内积、数量积，对两个向量执行点乘运算，就是对这两个向量对应位一一相乘之后求和的操作，点乘的结果是一个标量。 点乘公式 对于向量a和向量b： a和b的点积公式为： 要求一维向量a和向量b的行列数相同。 点乘几何意义 点乘的几何意义是可以用来表征或计算两个向量之间的夹角，以及在b向量在a向量方向上的投影，有公式： 推导过程如下，首先看一下向量组成： 定义向量： 根据三角形余弦定理有： 根据关系c=a-b（a、b、c均为向量）有： 即： 向量a，b的长度都是可以计算的已知量，从而有a和b间的夹角θ： 根据这个公式就可以计算向量a和向量b之间的夹角。从而就可以进一步判断这两个向量是否是同一方向，是否正交(也就是垂直)等方向关系，具体对应关系为： a·b>0 方向基本相同，夹角在0°到90°之间 a·b=0 正交，相互垂直 a·b<0 方向基本相反，夹角在90°到180°之间 叉乘公式 两个向量的叉乘，又叫向量积、外积、叉积，叉乘的运算结果是一个向量而不是一个标量。并且两个向量的叉积与这两个向量组成的坐标平面垂直。 对于向量a和向量b： a和b的叉乘公式为： 其中： 根据i

从数学的本质来看，最基本的集合有两类：线性空间（有线性结构的集合）、度量空间（有度量结构的集合）。线性空间与度量空间是两个不同的概念，没有交集。 一、 线性空间 1. 线性空间的定义 定义：设V是一个非空集合，F为数域。如果对于任意两个元素α、β∈V，总有唯一的一个元素γ∈V与之对应，称为α与β的和，记作 　　　　　　　　　　　　　　　　 γ=α+β 如果对于任意一个数λ∈F与任意一元素α∈V，总有一个唯一的一个元素δ∈V与之对应，称为λ与α的数量乘积，记作 　　　　　　　　　　　　　　　　 δ=λα 如果上述两种运算满足以下八条运算规律，那么V就称为数域F上的线性空间 加法运算： ① 交换律：α+β = β+α ② 结合律： (α+β）+γ = α+（β+γ） ③ 零元素（唯一）：存在0∈V，对任意α∈V，使α+0=α ④ 负元素（唯一）：对任意α∈V，存在β∈V，使α+β=0 乘法运算： ⑤ 1α = α ⑥ (λμ)α = λ(μα) ⑦ (λ+μ)α = λα+μα ⑧ λ(α+β) = λα+λβ 2. 数域 定义：设F是数的集合，若其满足 ① 0，1∈F ② 对F中的任意两个数a，b，总有a+b，a-b，a×b，a÷b(b≠0)∈F 则称F是一个数域，同时称F对加减乘除四种运算封闭 3. 线性空间的性质 ① 零元素是唯一的； ② 负元素是唯一的； ③ 若λα = 0(λ

向量内积 这个基本上是中学当中数学课本上的概念，两个向量的 内积 非常简单，我们直接看公式回顾一下： \[X \cdot Y = \sum_{i=1}^n x_i*y_i\] 这里X和Y都是n维的向量，两个向量能够计算内积的前提是两个向量的维度一样。从上面公式可以看出来，两个向量的内积就等于两个向量对应各个维度的分量的乘积的和。 为了和矩阵乘法以及普通的乘法做区分，我们通常把两个向量的内积写成： \([x, y]=x^Ty\) 。 这里有一个很重要的性质，对于一个向量而言，我们可以用欧几里得公式计算它的长度。进一步，我们可以用向量的长度以及向量之间的夹角来表示向量的内积，如下： \[[x, y]=|x|\cdot |y|\cos\theta\] 其中的 \(\theta\) 是x和y向量之间的夹角，对于三维及以下空间内的向量，这一点非常直观。对于高维度的向量，我们很难想象它的物理意义。不过没有关系，我们一样可以认为向量之间存在一个 广义超空间 内的一个夹角。在机器学习领域，我们通常用这个夹角来反应 向量之间的相似度 。两个向量越相似，那么它们之间的夹角应该越小，对应的cos余弦值应该越大。所以我们可以用两个向量之间的余弦值来反应它们之间的相似度。余弦值的计算就源于此。 正交向量 从上面的公式可以看出来，向量的内积等于两个向量长度乘上向量之间的夹角。对于非零向量而言

一 向量空间与内积空间 向量空间也称作线性空间，向量空间对向量线性组合封闭。如果 为向量空间 V 的一组基，则 仍在向量空间 V 中。在向量空间中，仅定义了数乘与向量加法运算。在此基础上，定义内积运算，通过内积运算，可以求解向量长度，向量间角度等概念，这就定义了内积空间。设向量为X, Y，X 长度定义为 ， X,Y 间角度定义为 。 二 内积定义 在 空间上，有如下矢量 和 ，在几何中，矢量长度表示原点到其端点的距离，根据 Pythagorean 定理，有 。定义内积 ，则矢量 X 长度等于 ，这样建立其内积与长度关系。 在复矢量空间 中，有如下矢量 和 ，定义内积 。 如何理解复矢量内积？首先，针对单个复数 ， 有 ，使用共轭乘法可求解复数长度。当两个不同复数共轭乘法时， ，其结果仍然为一个复数，可分解为实数分类与虚数分量。复矢量内积就是对所得复数相加得到一个结果，最终结果一般包括实数分量与虚数分量部分，即一般结果为 形式。 内积满足如下性质： 1）正性：如果 v 为非零向量， <v, v> > 0， 该性质对实矢量与复矢量均成立； 2）共轭对称性： ，针对复矢量，该等式成立，针对实矢量，共轭运算等于本身，则内积运算对称； 3）均匀性： ， 针对复矢量时 c 为复数，实矢量时 c 为实数； 4）线性：<u + v, w> = <u, w> + <v, w>, <u, v + w>

作者：sealaes 链接：https://www.jianshu.com/p/4715a4bea89d 来源：简书 【概述】 1、感知机模型特征 ：感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。 2、感知机策略 ：感知机学习的目标是求出将训练数据进行线性划分的分离超平面，导入基于误分类的损失函数，利用梯度下降法对损失函数进行最小化，求得感知机模型。 3、感知机学习算法： 用学习得到的感知机模型对新的输入实例进行分类。 4、重点： 感知机是神经网络和支持向量机的基础，所以一些核心概念要仔细理解和和掌握。 一、感知机模型（机器学习三要素之一） 1、定义2.1（感知机） 公式说明：W和b为感知机模型参数，称为权值（weight）或权值向量（weight vector），b称为偏置，一般b会以bx0的方式形成统一的权值向量w， w.x表示w和x的内积（内积的定义见附录1） ，sign(x)是符号函数，即： 图2.1：Sign符号函数的几何表示 2、感知机的几何解释 线性方程w.x+b=0对应于特征空间的一个超平面 S ，其中w是超平面的法向量 （法向量和超平面的关系见附录2） ，b是超平面的截距。 该超平面将特征空间划分成两个部分，位于两部分的点（特征向量）分别被分成正、负两类，超平面 S 成为分离超平面。 3、感知机学习方法 由训练集（实例的特征向量及类别）T=

在数学中有许多空间表示，比如向量空间、内积空间、欧式空间以及希尔伯特空间等。 具体的距离：实际上距离除了我们经常用到的直线距离外，还有向量距离， 函数距离、 曲面距离、折线距离等等，这些具体的距离与距离之间的关系类似于苹果、香蕉等与水果的关系，前面是具体的事物，后面是抽象的概念。 距离就是一个抽象的概念，其定义为： 设X是任一非空集，对X中任意两点x,y，有一实数d(x,y)与之对应且满足： 1. d(x,y) ≥0，且d(x,y)=0当且仅当x=y; 2. d(x,y)=d(y,x); 3. d(x,y) ≤d(x,z)+d(z,y)。 称d(x,y)为X中的一个距离。 定义了距离后，我们再加上线性结构，如向量的加法、数乘，使其满足加法的交换律、结合律、零元、负元；数乘的交换律、单位一；数乘与加法的结合律（两个）共八点要求，从而形成一个线性空间，这个线性空间就是 向量空间 。 在向量空间中，我们定义了范数的概念，表示某点到空间零点的距离： 1. ||x|| ≥0; 2. ||ax||=|a|||x||; 3. ||x+y||≤||x||+||y||。 将范数与距离比较，可知，范数比距离多了一个条件2，数乘的运算，表明其是一个强化了的距离概念。范数与距离的关系可以类似理解为与红富士苹果与苹果的关系。 接下来对范数和距离进行扩展，形成如下： 下面在已经构成的线性赋范空间上继续扩展

原帖地址： http://blog.codinglabs.org/articles/pca-tutorial.html PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。 当然我并不打算把文章写成纯数学文章，而是希望用直观和易懂的方式叙述PCA的数学原理，所以整个文章不会引入严格的数学推导。希望读者在看完这篇文章后能更好的明白PCA的工作原理。 数据的向量表示及降维问题 一般情况下，在数据挖掘和机器学习中，数据被表示为向量。例如某个淘宝店2012年全年的流量及交易情况可以看成一组记录的集合，其中每一天的数据是一条记录，格式如下： (日期, 浏览量, 访客数, 下单数, 成交数, 成交金额) 其中“日期”是一个记录标志而非度量值，而数据挖掘关心的大多是度量值，因此如果我们忽略日期这个字段后，我们得到一组记录，每条记录可以被表示为一个五维向量，其中一条看起来大约是这个样子： 注意这里我用了转置，因为习惯上使用列向量表示一条记录（后面会看到原因），本文后面也会遵循这个准则