正交向量

向量内积 这个基本上是中学当中数学课本上的概念，两个向量的 内积 非常简单，我们直接看公式回顾一下： \[X \cdot Y = \sum_{i=1}^n x_i*y_i\] 这里X和Y都是n维的向量，两个向量能够计算内积的前提是两个向量的维度一样。从上面公式可以看出来，两个向量的内积就等于两个向量对应各个维度的分量的乘积的和。 为了和矩阵乘法以及普通的乘法做区分，我们通常把两个向量的内积写成： \([x, y]=x^Ty\) 。 这里有一个很重要的性质，对于一个向量而言，我们可以用欧几里得公式计算它的长度。进一步，我们可以用向量的长度以及向量之间的夹角来表示向量的内积，如下： \[[x, y]=|x|\cdot |y|\cos\theta\] 其中的 \(\theta\) 是x和y向量之间的夹角，对于三维及以下空间内的向量，这一点非常直观。对于高维度的向量，我们很难想象它的物理意义。不过没有关系，我们一样可以认为向量之间存在一个 广义超空间 内的一个夹角。在机器学习领域，我们通常用这个夹角来反应 向量之间的相似度 。两个向量越相似，那么它们之间的夹角应该越小，对应的cos余弦值应该越大。所以我们可以用两个向量之间的余弦值来反应它们之间的相似度。余弦值的计算就源于此。 正交向量 从上面的公式可以看出来，向量的内积等于两个向量长度乘上向量之间的夹角。对于非零向量而言

 说道线性代数, 我们自然就想到矩阵, 那我们该如何理解矩阵呢? 矩阵与线性变换 若一个变换 \(L\) 满足以下两条性质 \[ \begin{align*} L(\vec v+ \vec w) &= L(\vec v) + L(\vec w) &(1) \text{"可加性"} \\ L(c\vec v) &= c L(\vec v) \quad\quad\ &(2) \text{"成比例"} \end{align*} \] 则称 \(L\) 是线性的. 值得注意的一点时, 线性变换中, 坐标系的原点不动, 即零向量的变换结果还是零向量. 我们来看看矩阵与线性变换的关系 \[ A(v+w) = Av + Aw \Leftrightarrow L(\vec v+ \vec w) = L(\vec v) + L(\vec w)\\ A(cv) = c(Av) \Leftrightarrow L(c\vec v) = c L(\vec v) \] 可以看出矩阵完全满足线性变换的要求, 所以现在你应该将矩阵看做线性变换, 这会给我们理解很多线性问题带来很大的好处. \(\bigstar\) 如果想知道线性变换对于一个输入向量空间有什么影响, 我们只需要知道该线性变换对该输入空间的基有什么影响, 我们就能知道所有信息. 假设 n 维输入空间 \(R^n\) 的基为 \(v1, v_2,

对于一组向量，有时候我们需要对其进行正交化处理，也就是说，该组向量中任意两个向量都是互相垂直的。那么，要怎么做呢？ 假设只有两个向量， \(\vec v_0\) 和 \(\vec v_1\) ，正交化的几何示意图如下所示。 假设正交化之后的向量为 \(\vec w_0\) 和 \(\vec w_1\) ，那么由图可知，可得 \(\vec w_0 = \vec v_0\) ，且有： \(\vec w_1 = \vec v_1 - \dfrac{\vec v_1 \cdot \vec w_0}{|\vec w_0|}\) 这里减去的部分是向量 \(\vec v_1\) 在向量 \(\vec w_0\) 上的投影。然后将 \(\vec w_0\) 和 \(\vec w_1\) 进行归一化，就得到了最终的结果。 那么，如果有三个向量， \(\vec v_0\) ， \(\vec v_1\) ， \(\vec v_2\) ，这种情况要如何处理呢？同样地，正交化的几何示意图如下所示。 假设正交化之后的向量为 \(\vec w_0\) ， \(\vec w_1\) ， \(\vec w_2\) ，由图可知，可得 \(\vec w_0 = \vec v_0\) ，且有： \(\vec w_1 = \vec v_1 - \dfrac{\vec v_1 \cdot \vec w_0}{|\vec w

第二章 机器学习中的线性代数知识 线性代数作为数学中的一个重要的分支，广发应用在科学与工程中。掌握好线性代数对于理解和从事机器学习算法相关的工作是很有必要的，尤其是对于深度学习而言。因此，在开始介绍深度学习之前，先集中探讨一些必备的线性代数知识。 2.1 标量，向量，矩阵和张量 标量（scalar） ：一个标量就是一个单独的数。用斜体表示标量，如 s ∈ R //--> . 向量（vector） ：一个向量是一列数，我们用粗体的小写名称表示向量。比如 x //--> ，将向量 x //--> 写成方括号包含的纵柱： x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ x 1 x 2 ⋮ x n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ //--> 矩阵（matrix） ：矩阵是二维数组，我们通常赋予矩阵粗体大写变量名称，比如 A ​ //--> 。如果一个矩阵高度是 m ​ //--> ，宽度是 n ​ //--> ，那么说 A ∈ R m × n ​ //--> 。一个矩阵可以表示如下： A = [ x 11 x 21 x 12 x 22 ] //--> 张量（tensor） ：某些情况下，我们会讨论不止维坐标的数组。如果一组数组中的元素分布在若干维坐标的规则网络中，就将其称为张量。用 A ​ //--> 表示，如张量中坐标为 ( i , j , k ) ​ //--> 的元素记作 A i , j , k ​ //-

原帖地址： http://blog.codinglabs.org/articles/pca-tutorial.html PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。 当然我并不打算把文章写成纯数学文章，而是希望用直观和易懂的方式叙述PCA的数学原理，所以整个文章不会引入严格的数学推导。希望读者在看完这篇文章后能更好的明白PCA的工作原理。 数据的向量表示及降维问题 一般情况下，在数据挖掘和机器学习中，数据被表示为向量。例如某个淘宝店2012年全年的流量及交易情况可以看成一组记录的集合，其中每一天的数据是一条记录，格式如下： (日期, 浏览量, 访客数, 下单数, 成交数, 成交金额) 其中“日期”是一个记录标志而非度量值，而数据挖掘关心的大多是度量值，因此如果我们忽略日期这个字段后，我们得到一组记录，每条记录可以被表示为一个五维向量，其中一条看起来大约是这个样子： 注意这里我用了转置，因为习惯上使用列向量表示一条记录（后面会看到原因），本文后面也会遵循这个准则

14 正交向量与正交子空间 正交向量 正交就是垂直的另一种说法。两向量正交的判据之一就是其点积 当两个向量的夹角为90度的时候，按照勾股定理x,y满足: 正交子空间 子空间S与子空间T正交，则S中任意一个向量都与T中任意一个向量正交。 15 子空间投影 投影 几何解释：在向量a上寻找与向量b距离最近的一点。从图中可以看出距离点p最近就是穿过b点并与向量a正交的直线与向量a所在直线的交点上。这就是b在a上的投影。如果我们将向量p视为b的一种近似，则长度e=b-p就是这一近似的误差。 因为p在向量a的方向上，因此可以令p=xa，而因为它与e正交，我们可以得到方程： 解得： 投影矩阵 将投影问题用投影矩阵方式进行描述，即p=Pb，其中P为投影矩阵。 则有： 在高维投影 如果a1和a2构成平面的一组基，则平面就是矩阵A=[a1a2]的列空间 已知向量p在平面内，则有 而： 与平面正交，因此e与a1和a2均正交，因此 16 投影矩阵和最小二乘法 投影 如果向量b本身就在A列空间之内，即存在x使得Ax=b，则有： 如果向量b与A的列空间正交，即向量b在矩阵的左零空间N(A)中： 最小二乘法 最优解的含义即为误差最小，这里误差就是每个方程误差值的平方和 误差即为数据点到直线距离的平方和。 对于空间向量b，投影矩阵A的列向量中得到p=[p1 p2 p3]T,投影到矩阵A的零空间中则为e。 17

尽管高斯消元法是解线性方程组的标准算法，但是当我们希望从数据中将重要信息与次要信息（噪声）分离时它就无能无力的。在线性代数中，我们要量化“好的与坏的基向量（basis vectors）。不严格的说，好的基向量是那些基本线性独立的向量，接近于正交。下面，就来领略如何利用正交向量进行计算。 在前面介绍最小二乘问题时，了解当选择了不恰当的基向量时会导致病态的正规方程。下面看个例子，两个非常相似的矩阵。从图中可见它们的列向量张成了空间中相同的平面，矩阵B的列向量是正交的，它们更好的确定此平面。而矩阵A的列向量则非常靠近。 在向量空间中采用正交向量有很多好处，下面就介绍正交向量集和正交矩阵的重要性质。 转载于:https://www.cnblogs.com/pegasus/archive/2011/11/21/2257288.html 来源： https://blog.csdn.net/weixin_30532759/article/details/99502043

题目：压缩感知中的数学知识：投影矩阵（projection matrix） ========================背景======================== 关注于投影矩阵主要是看以下两个文献注意到的： 【1】杨海蓉，张成，丁大为，韦穗. 压缩传感理论与重构算法[J]. 电子学报，2011，39(1)：142-148. 【2】Rachel Zhang. “压缩感知”之“Helloworld”[EB/OL] .http://blog.csdn.net/abcjennifer/article/details/7775284 . 文献1写的还是很不错的，综述了很多压缩感知重构算法，且都是以表格的形式给出，总结的很好，以后写论文也要向这个方向挺近，但是这篇论文需要有一定基础的人才能才明白，因为我感觉总是突然冒出一个符号来（比如第1步的Λ0代表什么没说，Λ0等于的那个符号后来才知道是空矩阵的意思，当然这并不影响这篇论文的价值，推荐！），当然这可能是由于我的数学功底太差。下面是OMP重构算法： 要完全看懂文献1需要反复去读，要随着对压缩感知的理解越来越深反复去看，慢慢地才能消化的，看论文时也没懂什么，只是感觉写的不错，后来看文献2时发现代码里的重构算法是OMP，为了读懂代码于是又回来看文献1，前面三步都能明白，但第四步无论如何也理解不了：“张成空间”？正交投影？呃