Linear algebra3---duality1

1.Introduction

第一部分和第二部分已经解决了方程组Ax=b的求解问题，接下来需要深入研究vector和matrix的属性，向量和矩阵能表示特殊的转换。

2.几何投影

有三种方式表示几何投影：

2.1 dot product

在高中我们已经学过了dot product 表示投影，
$\color{red}dot \, product还具有互换性:单位向量\vec{w}和\vec{v}的相互投影是一致的$。

2.2 向量的duality

$\color{red}左边的向量可以看成是将(\hat{i}, \hat{j})变换成（2i, 3i）的变换矩阵$,
问题是：$\textbf{[2, 3]将基向量（i, j）投影在了x轴上，如果是投影在任意直线上，如何实现？}$

$根据之前投影的互换性特点，\hat{i}在\hat{u}上的投影等于\hat{u}在\hat{i}上的投影，\color{red}{基向量(i, j)在\hat{u}上的投影是（u_x, u_y）}$。变换矩阵$[u_x, u_y]表示将向量空间压缩到\hat{u}对应的这条直线上。$
$\begin{bmatrix} u_x & u_y \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix}$

vector的duality是变换矩阵，该变换矩阵对应着几何上的投影。

2.2.1投影公式

并不需要直接去求$\vec{v}的单位向量\vec{u},除掉\vec{v}的模即可$
在直线上的投影公式：
$p=\frac{u^Tw}{u^Tu}u=u\frac{u^Tw}{u^Tu}$
对于更高维度的，采用数值计算的方法。
矩阵A对应的column space 如下图，$\vec{b}$在对应的subspace上的投影向量假设为$\vec{p}$。
存在$A\hat{x}=p$(x往往有无数解),$\vec{b}-\vec{p}$和column space中的基垂直，有
$\left\{ \begin{aligned} a_{col1}*(b-A\hat{x})=0 \\ a_{col2}*(b-A\hat{x})=0 \\ ............................. \\ a_{coln}*(b-A\hat{x})=0 \end{aligned} \right. = A^T(b-A\hat{x})=0$
有
$\hat{x}=(A^TA)^{-1}A^Tb, \; \color{red}{\vec{p}=A(A^TA)^{-1}A^Tb}$
$\color{red}{这里的A往往会压缩维度，就是说不是full rank, 所以不存在A^{-1}}$,和直线公式对比，两者非常相似。

2.3正交

向量之间存在一种特殊的位置关系：垂直，互相之间的投影为0。正交可以看成解耦，如果直接将坐标系建立在正交基上，那么运算将会非常方便。所以自然产生一种想法：
$线性无关向量 \rightarrow 单位正交基 \rightarrow 变动坐标系将其建立在单位正交基上$

2.3.1坐标系建在标准正交基

先看看为什么将此作为最终目的？
$u_{k+1}=\Lambda u_k$
很多微分方程可以转换成这种形式，解为
$u_{k+1}=\Lambda^{k}u_0= \begin{bmatrix} a_{11}^k& 0 & ... & 0 \\ 0 & a_{22}^k& ... & 0 \\ 0 & 0 & ... & a_{nn}^k& \end{bmatrix} u0 \tag{2.1}$
这种方式能极大的简便计算。

2.3.2正交基与gram schmidt process

gram schmidt process 的思想非常容易理解，$\color{red}\vec{v}不变，减掉\vec{w}在\vec{v}上的投影，投影公式在2.2节已经知道是:[u_x, u_y]\vec{w}, 其中\vec{u}是\vec{v}的单位向量$，所以二维的正交基公式如下
$\vec{A}= \vec{v} \\ \vec{B}= \vec{w} - \frac{v^Tw}{v^Tv} v \tag{2.2}$

如果是三维或者更高维度的，思路是一样的，只要将相对于其他基的投影分量减掉即可。
$A=a \\ B=b-\frac{a^Tb}{a^Ta}a \\ C = c-\frac{a^Tb}{a^Ta}a-\frac{b^Tc}{b^Tb}b$
$\color{red}{gram \, schmidt变换得到了一组标准正交基}$，存在无数个标准正交基，并且最终目的是希望在标准正交基上建立坐标系的，$\textbf{问题是经过矩阵变换，大部分之前正交的向量变得不再正交了，所以需要寻找特征向量}$
这里做个引子，后面再进行总结。

Reference

[1] https://www.youtube.com/channel/UCYO_jab_esuFRV4b17AJtAw
[2] https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm

来源：CSDN

作者：expectmorata

链接：https://blog.csdn.net/weixin_43485943/article/details/104152252