TensorFlow学习笔记4-线性代数基础
本笔记内容为“AI深度学习”。内容主要参考《Deep Learning》中文版。
- $X$表示训练集的设计矩阵，其大小为m行n列，m表示训练集的大小(size)，n表示特征的个数；
- $W$表示权重矩阵，其大小是n行k列，n为输入特征的个数，k为输出(特征)的个数；
- $\boldsymbol{y}$表示训练集对应标签，其大小为m行，m表示训练集的大小(size)；
- $\boldsymbol{y’}$表示将测试向量$x$输入后得到的测试结果；
几个概念
- 深度学习
如果想让计算机构建较简单的概念来学习复杂概念，我们可能需要一个深的(层次很多的)计算图，这种方法叫做AI深度学习。典型例子是前馈神经网络和多层感知机(multilayer perceptron, MLP)。
神经网络的深度的度量：
- 计算图的深度(计算层次)
- 概念图的深度(模型层次)
深度学习、机器学习与AI的关系如图： 
- 表示学习
机器学习需要特征集，但我们很难知道应提取什么特征。如：我们想识别出图片中是否有汽车，想到用车轮是否存在作为一个特征，但如何根据像素值去描述什么是车轮呢？这就需要表示学习。表示学习可帮助发现很好的特征集。
- 自编码器
表示学习的典例是自编码器(autoencoder)。它希望：
- 输入数据$X$和输出数据$X’$尽可能保持一致；
- 新的表现形式$Y$具有各种好的特性。
线性代数基础
- 标量： 一个数字，用斜体表示，如$x,y,i,j,k,m,n$等。
- 向量：一 列 数字。用粗体表示，如$\boldsymbol{x,y,b}$等。如果向量有n个元素且都属于$\boldsymbol{R}$，则该向量$\boldsymbol{x \in{R^n} }$。
表示方法：
- $x_i$ is 第$i$个元素。
- $x_{-1}$ is 除$x_1$之外的所有元素。
- 向量永远是一列的：$x=(1,2,3)^T$
- 矩阵：$\boldsymbol{A}$，$\boldsymbol{A \in{R^{m \times n} } }$
表示方法：
- $A_{i,j}$表示第i行第j列的元素。
- $A_{i,:}$表示第i行的向量。
- 矩阵的操作：
- 转置：$A^T_{i,j}=A_{j,i}$
- 广播：$C=A+b$，相当于 $C_{i,j}=A_{i,j}+b_j$
- 乘法：服从分配律、结合律，不服从交换律。
- 单位阵：$I_n$
- 逆矩阵：$A^{-1}A=I_n$
- 方程式 $Ax=b$ 的解形式为：$x=A^{-1}b$，前提是矩阵A有逆矩阵。
解的个数有三种情况： * 0个解(解不存在)； * 1个解； * 无穷个解； * C个解($1<C<\infty$)：该情况：若x,y是其解，则$z=\alpha x+(1-\alpha )y, \alpha 取任意实数$ 也是解
$Ax=b$有且仅有1个解的充要条件是矩阵A有逆。
-
线性组合：方程$Ax=b$可写作$Ax=\sum_i x_i A_{:,i}=b$
-
生成子空间是一组向量线性组合后能抵达的点的集合。故
$\boldsymbol{Ax=b}$是否有解 相当于 向量b是否在矩阵A的列向量的生成子空间中。
-
-
A的值域(列空间)：矩阵A的列向量的生成子空间。
-
奇异：如果方阵的列向量线性相关，则称方阵是奇异的。否则是非奇异的。
要使$Ax=b$对任意的$b \in R^m$均有解，则要求A的列空间涵盖整个$R^m$空间，即矩阵A至少有m列线性无关的列向量。故$n \geq m$。
要使$Ax=b$对任意的$b \in R^m$均只有1个解，则要求A的列空间构成整个$R^m$空间， 即矩阵A恰好有m列线性无关的列向量。所以非奇异的 m*m的方阵对任意$b \in R^m$均只有1个解，此时A一定有逆矩阵。
-
范数：衡量向量的大小。$L^p$范数定义为 $${ {\boldsymbol{||x||} }_ {p} }=(\sum_ {i}{|x_ {i}|^p})^{1/p}$$ 其中$p\in R, p \geq 1$。
常用的是$L^2$范数，称为欧几里得范数。其平方常称为平方$L^2$范数，可通过$x^T x$计算。 当区分小值和0的时候，由于平方$L^2$范数在原点附近增长很慢，常用$L^1$范数： $$||x||_ {1}=\sum_ {i} |x_ {i}|$$
最大范数表示向量中具有最大幅值的元素的绝对值： $$||x||_ {\infty}=\max_ {i} |x_ {i}|$$
Frobenius范数衡量矩阵大小： $$ ||A||_ {F} = \sqrt{\sum_ {i,j} A^2_ {i,j} }$$
-
对角矩阵：用$diag(\boldsymbol{v})$表示由向量$\boldsymbol{v}$构成的对角阵。
- 对角阵的逆：$diag(\boldsymbol{v})^{-1}=diag([1/v_ {1},...,1/v_ {n}]^ {T})$
-
对称矩阵： $A=A^T$
-
正交向量：$x^T y=0$，如果范数均为1，则称为标准正交。
-
正交矩阵：行向量标准正交，列向量也标准正交。则$A^T A = A A^T =I$，这时$A^{-1}=A^{T}$。
-
特征向量与特征值：
满足$$Av=\lambda v$$的$v$称为特征向量，$\lambda$称为特征值。
推导：设A有n个线性无关的特征向量，写成矩阵$V= ( v^{(1)} ,...,v^{(n)} ) $，对应特征值为 $(\lambda_1,...,\lambda_n)$，写成向量$\boldsymbol{\lambda} = [\lambda_1,...,\lambda_n]^T$。 则$AV = A( v^{(1)} ,...,v^{(n)} ) = ( v^{(1)} ,...,v^{(n)} ) diag(\boldsymbol{\lambda}) = V diag(\boldsymbol{\lambda}) \rightarrow A=V diag(\boldsymbol{\lambda}) V^{-1}$。这就是A的特征分解。 $$A=V diag(\boldsymbol{\lambda}) V^{-1}$$
$Av=\lambda v$的理解如下图：
-
每个实对称矩阵都可以分解为$A=Q \boldsymbol{\Lambda} Q^{T}$，其中$Q$为A的特征向量组成的正交矩阵，可以将A看作沿方向$v^{(i)}$延展$\lambda_i$倍的空间。
-
二次方程$f(x)= x^T Ax$，其中$||x||_ {2} =1$。当$x$为某特征向量时，f将返回对应的特征值。
-
正定阵：所有特征值都是正数；如果正定阵A满足$x^T Ax =0$，则$x=0$。
-
半正定：所有特征值都是非负数；半正定矩阵的$x^T Ax \geq 0$
-
奇异值分解(Singluar Value Decomposition, SVD)：类似于$A=V diag(\boldsymbol{\lambda}) V^{-1}$，将矩阵A分解为$A=UDV^{-1}$，U是$m \times m$正交方阵，D是$m \times n$对角矩阵，V是$n \times n$正交方阵。
- U的列向量为左奇异向量，是$AA^T$的特征向量；
- V的列向量为右奇异向量，是$A^T A$的特征向量；
- 对角矩阵D的元素为矩阵A的奇异值，是$AA^T$特征值的平方根，同时也是$A^T A$特征值的平方根。
-
Moore-Penrose伪逆：求解$Ax=y$时，$x=A^{-1}y$，但矩阵A可能没有逆矩阵。伪逆为： $$A^+ = lim_ {a \rightarrow 0} (A^T A + \alpha I)^{-1} A^T $$ 计算时，$A^+ =VD^+ U^T$，其中U、D、V时矩阵奇异值分解后得到的矩阵。对角矩阵D的伪逆$D^+$是其非零元素取倒数之后再转置得到的。 得到$x=A^+ y$。
-
迹：$Tr(A) = \sum_i A_ {i,i}$。矩阵A的Frobenius范数的另一种形式$||A||_ {F} =\sqrt{Tr(AA^T)}$
- $Tr(A)=Tr(A^T)$
- $Tr(ABC)=Tr(CAB)=Tr(BCA)$
- $a=Tr(a)$
-
行列式：$det(A)$为矩阵特征值的乘积。
-
利用上述知识可推导主成分分析(Principal Components Analysis, PCA)的公式。
补充：矩阵求导相关公式
下列$\boldsymbol{a}$与$A$均为常数组成的向量和矩阵，$\boldsymbol{x}$为自变量(向量形式)。请自行推导。
- $$\frac{\partial a^T x}{\partial x}=\frac{\partial x^T a}{\partial x}=a \tag{1}$$
- $$\frac{\partial x^T A}{\partial x}=A \tag{2}$$
- $$\frac{\partial x^T Ax}{\partial x}=(A+A^T)x \tag{3}$$
来源：oschina
链接：https://my.oschina.net/u/4344754/blog/3410832