线性代数

这部分我们通过选择更好的基底来产生更好的矩阵。当我们的目标是对角化矩阵时，一个选择可以是一组特征向量基底，另外一个选择可以是两组基底，输入基底和输出基底是不一样的。这些左右奇异向量是矩阵四个基本子空间中标准正交的基向量，它们来自于 SVD。 事实上，所有对 \(A\) 的分解都可以看作是一个基的改变。在这里，我们只关注两个突出的例子，有一组基的 \(\Lambda\) 和有两组基的 \(\Sigma\) 。 \(S^{-1} AS=\Lambda\) 如果输入和输出基都是 \(A\) 的特征值。 \(U^{-1} AV=\Sigma\) 如果这些基分别是 \(A^TA\) 和 \(AA^T\) 的特征值。 只有当 \(A\) 是方阵并且有 \(n\) 个不相关的特征向量时，我们才能将其对角化成 \(\Lambda\) 。而通过 SVD，任意矩阵都可以对角化成 \(\Sigma\) 。如果一个矩阵是对称的、反对称的或者正交的，那么有 \(A^TA=AA^T\) ，在这种情况下，奇异值是特征值的绝对值，上面的两个对角化形式除了一个 \(-1\) 或者 \(e^{i\theta}\) 的因子外是相同的。 另外，注意 Gram-Schmidt 分解 \(A=QR\) 只选择了一个新的基底，也就是通过 \(Q\) 给出的输出正交基，而输入基底则是标准基由 \(I\) 给出

1. 线性相关性 矩阵 \(A\) 的列是 线性不相关的 当且仅当 \(Ax=\boldsymbol0\) 的唯一解是 \(x=\boldsymbol0\) 。没有其它的线性组合能给出零向量。 在三维空间中，如果三个向量 \(v_1, v_2, v_3\) 不在同一个平面中，那它们就是不相关的，只有 \(0v_1+0v_2+0v_3\) 能给出零向量。如果三个向量 \(v_1, v_2, v_3\) 位于同一个平面中，那它们就是相关的。 一系列向量 \(v_1, v_2\cdots v_n\) 是 线性不相关的 当且仅当给出零向量的唯一线性组合是 \(0v_1+0v_2\cdots +0v_n\) 。 如果一个线性组合给出零向量，但不是所有的系数都为零，那么它们就是相关的。 矩阵 \(A\) 的列是 线性不相关的 当且仅当其秩 \(r=n\) 。这时候有 \(n\) 个主元没有自由变量，零空间中只有一个零向量。 假设在一个矩阵有 5 列，每一列都属于 \(R^3\) ，那它们肯定是线性相关的。因为矩阵最多有 3 个主元，那就意味着至少有 5-3=2 个自由变量。 如果 \(n>m\) ，那么在 \(R^m\) 中的 \(n\) 个向量一定是线性相关的。 一系列向量可以扩充出（span）一个空间如果它们的线性组合填满了这个空间。列空间就是所有的列扩充出的子空间。

1. 标准正交基 两两正交且模为 1 2. 向量内积 \[A \cdot B = \left| A \right|\left| B \right|\cos \left( a \right)\] 设向量 B 的模为 1 ，则 A 与 B 的内积值等于 A 向 B 所在直线投影的矢量长度。要准确描述向量，首先要确定一组基，然后给出在基所在的各个直线上的投影值，就可以了。 3. 向量外积 \[A \times B = \left\| a \right\|\left\| b \right\|\sin \theta n\] n是同时垂直于 A， B向量的单位向量。 4. 矩阵 可逆矩阵：$AB = BA = E$ 正交矩阵：${A^T}A = E$ A相似于 B（$A\~B$）：${P^{ - 1}}AP = B$ ， P 是可逆方阵。相似矩阵有相同的特征多项式，相同的特征值。 来源： https://www.cnblogs.com/xumaomao/p/11387783.html

1.高斯消元 在模意义下依然有效，对主元求逆即可。 甚至可以模合数，需要对两个方程辗转相除，复杂度 \(O(n^3\log p)\) 。 辗转相除法只要能定义带余除法就有效。 逆矩阵：对于矩阵 \(A\) ，定义逆矩阵 \(A^{-1}\) 为满足 \(A\cdot A^{-1}=A^{-1}\cdot A=e\) 的矩阵。 求逆矩阵可以高斯消元。设有 \(A\cdot A^{-1}=e\) 的形式，把 \(A\) 消元成单位矩阵的过程中，对方程右侧进行同样的操作。 应用：设有方程 \(A\cdot x=b\) （大写字母为矩阵，小写字母为向量），对于不同的 \(b\) 多次求解，可以转化为 \(x=A^{-1}\cdot A \cdot x=A^{-1}\cdot b\) 的形式，避免每次高斯消元。 例题 题意： \(n\) 个点的图，有 \(k\) 个关键点，对每对关键点 \((i,j)\) ，求出从 \(i\) 出发随机游走，遇到的第一个关键点是 \(j\) 的概率。 Sol: 枚举终点 \(k\) ，设 \(f_i\) 表示从 \(i\) 出发，走到的第一个关键点是 \(k\) 的概率。 对每个关键点设一个只进不出的虚点 \(i'\) ，只有当前枚举的终点的 \(f_{k'}=1\) ，其余为 \(0\) 。 然后发现每次高斯消元的不同点只有常数项，那么把常数项看作一个向量

25 对称矩阵和正定性 对称矩阵 如果A具有n个线性无关的特征向量，可以对角化得到 而对于对称矩阵， 其中Q为正交矩阵，列向量为标准正交基，这个公式显示了矩阵的对称性。 27 正定矩阵和最小值 正定矩阵 给定一个2*2的矩阵，有四种途径判断是否是正定矩阵 1）特征值大于0 2）行列式（所有子行列式）： 3)主元 4）表达式 通常这就是正定的定义，而前三条是用来验证正定性的条件。 矩阵符合正定性，其对应的图像能够取出最小值。 28 相似矩阵和诺尔当标准型 对于两个方阵 A,B ， 如果存在可逆矩阵 P ，使得： 则称B 是 A的相似矩阵，相似矩阵具有如下的性质： 相似矩阵具有相同的特征值 如果矩阵A与对角阵相似，则对角阵中的对角线值也就是A 的 n 个特征值，这里也就是之前讲到过的对角化的知识。 29 奇异值分解 奇异值分解，简称SVD。这是矩阵最终也是最好的分解，任意矩阵可以分解为 正交矩阵U，对角矩阵E和正交矩阵V。 那么这样的变换怎样合到一起，首先，这个行空间能找到一组正交基（格拉姆-施密特告诉我们以任意一组基开始，经过格拉姆-施密特正交化方法就可得到），但这组正交基经过A变换后不一定能在列空间成为正交基，所以行空间中的正交基要找特殊的。考虑零空间，这些零空间体现在对角矩阵Σ中是0。 Av变换过程中，我希望转换得到的正交单位向量，所以u1,u2…是单位正交基，同时v1,v2

14 正交向量与正交子空间 正交向量 正交就是垂直的另一种说法。两向量正交的判据之一就是其点积 当两个向量的夹角为90度的时候，按照勾股定理x,y满足: 正交子空间 子空间S与子空间T正交，则S中任意一个向量都与T中任意一个向量正交。 15 子空间投影 投影 几何解释：在向量a上寻找与向量b距离最近的一点。从图中可以看出距离点p最近就是穿过b点并与向量a正交的直线与向量a所在直线的交点上。这就是b在a上的投影。如果我们将向量p视为b的一种近似，则长度e=b-p就是这一近似的误差。 因为p在向量a的方向上，因此可以令p=xa，而因为它与e正交，我们可以得到方程： 解得： 投影矩阵 将投影问题用投影矩阵方式进行描述，即p=Pb，其中P为投影矩阵。 则有： 在高维投影 如果a1和a2构成平面的一组基，则平面就是矩阵A=[a1a2]的列空间 已知向量p在平面内，则有 而： 与平面正交，因此e与a1和a2均正交，因此 16 投影矩阵和最小二乘法 投影 如果向量b本身就在A列空间之内，即存在x使得Ax=b，则有： 如果向量b与A的列空间正交，即向量b在矩阵的左零空间N(A)中： 最小二乘法 最优解的含义即为误差最小，这里误差就是每个方程误差值的平方和 误差即为数据点到直线距离的平方和。 对于空间向量b，投影矩阵A的列向量中得到p=[p1 p2 p3]T,投影到矩阵A的零空间中则为e。 17

章节 Numpy 介绍 Numpy 安装 NumPy ndarray NumPy 数据类型 NumPy 数组创建 NumPy 基于已有数据创建数组 NumPy 基于数值区间创建数组 NumPy 数组切片 NumPy 广播 NumPy 数组迭代 NumPy 位运算 NumPy 字符串函数 NumPy 数学函数 NumPy 统计函数 NumPy 排序、查找、计数 NumPy 副本和视图 NumPy 矩阵库函数 NumPy 线性代数 NumPy中包含了numpy.linalg模块，提供线性代数运算功能。下表描述了该模块中的一些重要功能。 SN 函数 描述 1 dot() 两个数组的点积 2 vdot() 两个向量的点积 3 inner() 两个数组的内积 4 matmul() 两个数组的矩阵乘积 5 det() 计算矩阵的行列式 6 solve() 解线性矩阵方程 7 inv() 求矩阵的乘法逆矩阵 numpy.dot() numpy.dot() 计算两个数组的点积。 示例 import numpy as np a = np.array([[100,200],[23,12]]) b = np.array([[10,20],[12,21]]) dot = np.dot(a,b) #[100 * 10 + 200 * 12, 100 * 20 + 200 * 21] [23*10+12*12

解析几何 解析几何有被代数吃掉的趋势，不过就数学系的学生而言，还是应该好好学一下，我大一没有好好学，后来学别的课时总感觉哪里有些不太对劲，后来才发现是自己的数学功底尤其是几何得功底没有打好。 1吴光磊《解析几何简明教程》高等教育出版社 写的简单明了，我基础没有打好，快速翻了一下这本书收获还是不少的。不过打基础的时候还是从下面三本选一本看，把这本当参考书。 2《解析几何》丘维声，北京大学出版社 我大一时的课本 3《解析几何》吕根林，许子道 4《解析几何》尤承业 2，3，4写的大同小异 习题集有巴赫瓦洛夫的《解析几何习题集》不过不是那么容易找的到了 代数 前面说过代数有吃掉几何的倾向，所以有许多与时俱进的《代数与几何》。不过还是建议分开学，一门一门的打好基础。许多所谓的简明教程，还有将代数与解析几何合在一起的课本目前都还不是非常成熟。不建议使用。 1《高等代数》北京大学数学系代数与几何教研室代数小组 目前国内各大学尤其是综合大学数学系广泛采用的代数教材，有着悠久的传统。目前通常使用的是第三版。也是各大学的考研指定用书。这本书更多以教师为主，给了教师以很大的发挥空间，受到教师的普遍欢迎。不过对基础不好的学生在某些地方有一定的难度。讲到了所有应该讲的内容。 2《高等代数》张禾瑞，郝鈵新 被各个师范大学的数学系广泛使用，和1同分天下。张禾瑞已经去世，但书已经出到第五版。 3《线性代数》李烔生