Linear algebra2--Elimination with matrices

1.Introduction

在上一节，已经引入了矩阵A和我们要面临的第一个问题Ax=b。

2.高斯消元法

2.1计算方法

假设Ax=b是下面的形式
$\begin{bmatrix} 1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 &4 & 1 \end{bmatrix} \begin{bmatrix} x \\ y \\ z \end{bmatrix} = \begin{bmatrix} 2 \\ 12 \\ 22 \end{bmatrix} \tag{2.1}$
通过行之间的相减，或者互换，化成阶梯形式(echelon form)，这里引入了$\color{red}{增广矩阵}$
$\begin{bmatrix} 1 & 2 & 1 & | & 2 \\ 3 & 8 & 1 & | & 12 \\ 0 &4 & 1 & | & 22 \end{bmatrix} \rightarrow \begin{bmatrix} 1 & 2 & 1 & | & 2 \\ 0 & 2 & -2 & | & 6 \\ 0 &0 & 5 & | & 10 \end{bmatrix} \tag{2.2}$
将化简后的增广矩阵$\color{red}{回代}$。

2.2思考

高斯消元法的思想比较简单，有很多工作还需要做。
1）化简的步骤能否用矩阵形式表示，这些矩阵有什么特点？
2）

3.高斯消元法中的变换矩阵

3.1row 互换

因为是行操作，采用左乘，用基向量的角度理解，（i, j）基向量发生了互换（j, i)，假设i=1,j=2.
这种矩阵有个特殊的名称，$\color{red}{置换矩阵，是对称矩阵，A^{T}A=I}, A^T=A^{-1}$
$\begin{bmatrix} 0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \end{bmatrix}$
形象的理解，新的row1，只要之前的第二行了；新的row2只要之前的第一行了，新的row是置换矩阵中的系数乘以A矩阵中对应的行。

3.2row消去

同样采用上面的理解方式，新的一行需要减掉那一行就减掉。例如：第二行减掉3倍的第一行
$\begin{bmatrix} 1 & 0 & 0 \\ -3 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} \tag{3.1}$

3.3小节

这两个矩阵很显然都是可以逆操作的，也就是所上面两个转换矩阵$A都可以逆转成I$,两个都是$\color{red}可逆矩阵$。

3.4可逆矩阵

高斯消元法中出现的两种特殊的矩阵都可以逆转成$I$,同时我们知道其他的矩阵和这两种矩阵一样，也是对基向量的线性变换，那么普通的矩阵是否可逆？如何判断可逆？
$\color{red}参考3blue1brown的视频，如果变换后维度发生了降低，这才是不可逆的$。
（补充一点：信息压缩一样，如果某些维度丢失了，才是有损压缩，才是不可逆的）

4.解集

4.1解的数量

4.1.1几何上理解

• 以$A_{2x2}举例$，当转换矩阵A不会降低column space的维度，根据线性变换规则，$\vec{x}只有一个解$
  
  如果转换矩阵A会降低向量空间的维度，则如果output vector $\vec{v}$在矩阵的低维度空间中，有无数解，如果不在则没有解。
  

4.2 引入column space 和 null space

• vector space
  简单的理解：向量空间是：向量构成的集合，这里的任意一个向量在进行数乘和叠加之后仍在这个空间中。
  向量空间必须包括零向量。
• column space
  按照矩阵是中线性变换的角度去理解，矩阵改变了原坐标系下的基向量，获得了新的坐标系，span出了新的空间，称为column space,这个space是有维度的，用rank（A)表示。
  $w=x_1*a_{col1}+x_2*a_{col2}+...+x_n*a_{coln}$
• null space
  如图，经过变换之后整个整个平面对应的input vector$\vec{x}$都会被压缩成零。这些特殊的input vector span出的向量子空间是null space。
  数学形式表示： $\color{red}Ax=0,也就是说column \, space和null \, space是正交的$
  null space其中一个作用是，对于求解$Ax=b的问题，只要求出一个特殊解x，加上null space就是实际结果。$
  

4.2求解Ax=b

求解的方法，在前面也说了，主要是通过高斯消去法，然后回代。在我们回代的时候会遇到无穷个解的情况，以$Ax=0这种情况为例$。
$\begin{bmatrix} 1 & 2 & 2 & 2 \\ 2 & 4 & 6 & 8 \\ 3 &6 & 8 & 10 \end{bmatrix} \rightarrow \begin{bmatrix} 1 & 2 & 2 & 2 \\ 0 & 0 & 2 & 4 \\ 0 &0 & 0 & 0 \end{bmatrix} \rightarrow \begin{bmatrix} 1 & 2 & 0 & -2 \\ 0 & 0 & 1 & 2 \\ 0 &0 & 0 & 0 \end{bmatrix} =R \tag{4.1}$
R 是reduced rechelon form, 公式（4.1）中第1,3列是pivot column, 2,4称为free columns.
在回代的过程中，因为有4个未知量，2个方程，一般的解题思想，将free variable x2,x4当成已知量。
方程的解为
$\vec{x}= \begin{bmatrix} -2x_2+2x_4 \\ x_2 \\ -2x_4 \\ x_4 \end{bmatrix}$
这里有两个free variable,我们知道他们组成了null space，为了更简便的表示这个null space，选择基向量
$\vec{x_1}= \begin{bmatrix}-2 \\ 1 \\ 0 \\ 0 \end{bmatrix} \vec{x_2}= \begin{bmatrix}2 \\ 0 \\ -2 \\ 1 \end{bmatrix} \tag{4.2}$
注意观察一下方程（4.1）和方程（4.2)，结果有很大的相似性，原因是：
在进行操作之前先将矩阵A，第2列和第3列进行互换（右乘操作），经过高斯消去法，得到
$R= \begin{bmatrix} I & F \\ 0 & 0 \end{bmatrix}$
null space 的结果则为
$N(A) = \begin{bmatrix} -F \\ I \end{bmatrix}$
因为$R*N=\vec{0}$

4.3 求解$A^{-1}$

4.3.1高斯若尔当方法

在求解之前搞清楚是否可逆，本质上就是搞清楚，转换矩阵column space的维度，也就是rank(A)，
可以采用行列式(determination,只知道有没有发生降维，并不知道降成了几维)去做，或者还是用高斯消去法。
$\color{red}注意：求逆解只在方阵中$
采用的高斯若尔当方法：
思路：
$A^{-1}A \rightarrow A^{-1}I$
如果能将左边转换成单位阵，那么右边就是逆解。

5.高斯消去法和LU分解

5.1消去操作对应矩阵的逆

以方程（3.1）为例，该矩阵的逆为：
$\begin{bmatrix} 1 & 0 & 0 \\ 3 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} \tag{3.1}$
$\color{red}特点是消去矩阵和它的逆矩阵都是\textbf{下三角矩阵}:即为L形矩阵$
有$EA=U$,$A=E^{-1}U$,即$A=LU$

来源：CSDN

作者：expectmorata

链接：https://blog.csdn.net/weixin_43485943/article/details/104138901