线性代数

SVD 分解是线性代数的一大亮点。 1. SVD 分解 \(A\) 是任意的 \(m×n\) 矩阵，它的秩为 \(r\) ，我们要对其进行对角化，但不是通过 \(S^{-1}A S\) 。 \(S\) 中的特征向量有三个大问题：它们通常不是正交的；并不总是有足够的特征向量； \(Ax=\lambda x\) 需要 \(A\) 是一个方阵。 \(A\) 的奇异向量很好地解决了上述所有问题。 代价是我们需要两组奇异向量，一组是 \(\boldsymbol{u}\) ， 一组是 \(\boldsymbol{v}\) 。 \(\boldsymbol{u}\) 是 \(AA^T\) 的特征向量， \(\boldsymbol{v}\) 是 \(A^TA\) 的特征向量，因为这两个矩阵都是对称矩阵，我们可以选出一组标准正交的特征向量。即： \[AA^T=U\Sigma^2U^T \quad A^TA =V\Sigma^2V^T\] 证明： 让我们从 \(A^TAv_i=\sigma_i^2v_i\) 开始，两边同乘以 \(v_i^T\) ，有： \[v_i^TA^TAv_i=\sigma_i^2v_i^Tv_i=\sigma_i^2 \to ||Av_i||=\sigma_i\] 这说明向量 \(Av_i\) 的长度为 \(\sigma_i\) 。然后两边同乘以 \(A\) ，有： \[AA^T

当 \(A\) 有足够的特征向量的时候，我们有 \(S^{-1}AS=\Lambda\) 。在这部分， \(S\) 仍然是最好的选择，但现在我们允许任意可逆矩阵 \(M\) ，矩阵 \(A\) 和 \(M^{-1}AM\) 称为 相似矩阵 ，并且不管选择哪个 \(M\) ，特征值都保持不变。 1. 相似矩阵 假设 \(M\) 是任意的可逆矩阵，那么 \(B = M^{-1}AM\) 相似于矩阵 \(A\) 。 \[B = M^{-1}AM \to A = MBM^{-1}\] 也就是说如果 \(B\) 相似于 \(A\) ，那么 \(A\) 也相似于 \(B\) 。如果 \(A\) 可以对角化，那么 \(A\) 相似于 \(\Lambda\) ，它们肯定具有相同的特征值。 相似的矩阵 \(A\) 和 \(M^{-1}AM\) 具有相同的特征值，如果 \(x\) 是 \(A\) 的一个特征向量，那么 \(M^{-1}x\) 是 \(B = M^{-1}AM\) 的特征向量。 \[Ax=\lambda x \to MBM^{-1}x=\lambda x \to B(M^{-1}x)=\lambda (M^{-1}x)\] 所有具有特征值 1 和 0 的 2×2 矩阵都是相似的，特征向量会随着 \(M\) 而改变，但特征值不变。上面的例子中特征值是不重复的，这种情况很好办

这部分我们关注有正特征值的对称矩阵。如果对称性使得一个矩阵重要，那么所有特征值大于零这个额外属性则让这个矩阵真正特殊。但我们这里的特殊并不是稀少，事实上在各种应用中具有正特征值的对称矩阵非常常见，它们被称作 正定矩阵 。 我们可以通过检查特征值是否大于零来识别正定矩阵，但计算特征值是一项工作，当我们真正需要它们的时候我们可以进行计算，而如果我们仅仅想知道它们是否是正的，我们有更快的方式。 1. 正定矩阵的判断 首先，由于矩阵是对称的，所有的特征值自然都是实数。让我们以一个 2×2 的矩阵开始， \[A = \begin{bmatrix} a&b \\b&c\end{bmatrix}\] A 的特征值是正的当且仅当 \(a > 0\) 并且 \(ac-b^2>0\) 。 如果 2×2 矩阵的特征值 \(\lambda_1>0\) ， \(\lambda_2>0\) ，那么它们的乘积等于行列式， \(\lambda_1\lambda_2=|A|=ac-b^2>0\) ，它们的和等于矩阵的迹， \(\lambda_1+\lambda_2=a+c>0\) ，所以 \(a\) 和 \(c\) 都必须是正的。 A 的特征值是正的当且仅当主元是正的。 这连接了线性代数的两大部分， 正的特征值意味着正的主元，反之亦然 。而且，主元往往比特征值计算得更快。 基于能量的定义 \[Ax=\lambda

1、行列式的基本性质 （1）行列式行列互换，其值不变 （2）互换行列式的两行，行列式变号；即正变为负，负变为正 （3）如果行列式中某行元素有公因子 C ，则公因子可以提到行列式外 （4）如果行列式中某行元素是两个数之和，则可拆成两个行列式之和 2、行列式的其它常用性质 （1） 如果行列式中有两行成比例或相等，则行列式的值为 0 分析： 　　 根据行列式基本属性的第 2、3 条：任意两行互换位置，行列式符号变换，某行中的公因子可提到行列式外；若两行相等或成比例，则公因子提到行列式外之后，将这两行互换位置，此时行列式的符号应互换，但明显两行变换位置之后行列式的值本身并没有改变，因此行列式的值只能为 0 才符合性质 （2） 行列式中某行元素乘以数K然后加到另一行相应的元素，其值不变 分析： 　　根据行列式基本性质第4条：行列式某行元素是两个数之和时，可将行列式拆成两个行列式之和；因此可将上式中等号右边的行列式拆成原行列式和另外一个行列式相加，根据行列式其它性质的第一条：行列式两行相等或成比例，则行列式的值为0；因此另外的这个行列式的值为0，该性质成立 来源： https://www.cnblogs.com/xmcwm/p/11792176.html

很遗憾，Matrix（矩阵）是什么是说不清的。你必须得自己 亲眼看看 。----墨菲斯 一、线性变换（Linear transformation） 1.transformation（变换）本质上是“函数”的一种花哨的说法，它接收输入内容，并输出对应结果。特别地，在线性代数的情况下，我们考虑的是接收一个向量并且输出一个向量的变换。 2.为什么“变换”和“函数”意义相同，却使用前者而不是后者？使用“变换”是在暗示以特定方式来可视化这一输入-输出关系。一种理解“向量的函数”的方法是使用运动。 3.变换是很随意的，但是线性变换需要具备以下两条性质： 直线在变换后仍然保持为直线，不能有所弯曲。 原点必须保持固定。 4.总的来说，你应该把线性变换看作是“保持网格线平行并等距分布”的变换。 5.如何用数值描述线性变换？我们只需要记住基向量，i帽和j帽。v向量=-1i帽+2j帽。那么变换后的i帽和j帽从[1,-2]到[3,0]通过计算可以得到v向量的值为[5,2]。所以很炫酷呀，我们只需要记住基向量就可以推断出任何向量的落脚点（变换后的落脚点），完全不必观察变换本身是什么样 6.一个二维线性变换仅由四个数字完全确定，变换后i帽的两个坐标与变换后j帽的两个坐标，通常我们将这些坐标包装在一个2*2的格子中，称它为2*2矩阵，你可以把它的列理解为两个特殊的向量，即i帽和j帽分别落脚的位置。 7

一、 矩阵 矩阵元素 向量 矩阵向量相乘与数组运算 两个矩阵相乘 矩阵乘法方法： 特殊的矩阵运算 1、 矩阵的逆 2、 转置矩阵 文章来源: 线性代数基础

from: https://www.cnblogs.com/marsggbo/p/10144060.html 线性代数课程，无论你从行列式入手还是直接从矩阵入手，从一开始就充斥着莫名其妙。比如说，在全国一般工科院系教学中应用最广泛的同济线性代数教材（现在到了第四版），一上来就介绍逆序数这个“前无古人，后无来者”的古怪概念，然后用逆序数给出行列式的一个极不直观的定义，接着是一些简直犯傻的行列式性质和习题——把这行乘一个系数加到另一行上，再把那一列减过来，折腾得那叫一个热闹，可就是压根看不出这个东西有嘛用。大多数像我一样资质平庸的学生到这里就有点犯晕：连这是个什么东西都模模糊糊的，就开始钻火圈表演了，这未免太“无厘头”了吧！于是开始有人逃课，更多的人开始抄作业。这下就中招了，因为其后的发展可以用一句峰回路转来形容，紧跟着这个无厘头的行列式的，是一个同样无厘头但是伟大的无以复加的家伙的出场——矩阵来了！多年之后，我才明白，当老师犯傻似地用中括号把一堆傻了吧叽的数括起来，并且不紧不慢地说：“这个东西叫做矩阵”的时候，我的数学生涯掀开了何等悲壮辛酸、惨绝人寰的一幕！自那以后，在几乎所有跟“学问”二字稍微沾点边的东西里，矩阵这个家伙从不缺席。对于我这个没能一次搞定线性代数的笨蛋来说，矩阵老大的不请自来每每搞得我灰头土脸，头破血流。长期以来，我在阅读中一见矩阵，就如同阿Q见到了假洋鬼子

目录 1. 矩阵的相似 2. 特征值与特征向量的求法 3. 特征值与特征向量的性质 4. 一般矩阵的相似对角形 5. 实对称矩阵特征值与特征向量的性质 6. 实对称矩阵的相似对角化 1. 矩阵的相似 矩阵的相似 (iv)的证明： 矩阵的特征值和特征向量 2. 特征值与特征向量的求法 由此可见矩阵的k重特征值不一定有k个线性无关的特征向量。 3. 特征值与特征向量的性质 用数学归纳法证明： 上节课的例题： 推论 例题 特征值求法公式 特征值与矩阵的关系 矩阵A的特征值之和=trace(A) 即矩阵A的迹。 练习 4. 一般矩阵的相似对角形 矩阵与对角阵相似的条件 推论：若n阶矩阵A有n个互异的特征值，则A与对角阵相似，反之不对。 n阶矩阵能够与对角阵相似，取决于矩阵能否有n个线性无关的特征向量。 若n阶矩阵A有n个互异的特征值，则A与对角阵相似；若矩阵A有重特征值，不能马上断言，这时要看特征向量，实际上，只要k重特征值对应k个线性无关的特征向量即可。 练习 矩阵相似对角化的方法 矩阵相似对角化的步骤 练习 5. 实对称矩阵特征值与特征向量的性质 性质1 实对称矩阵的特征值都是实数。 证明一个数是实数，就是证明该数的共轭与该数相等。 性质2 实对阵矩阵的相异特征值所对应的特征向量必定正交。 对于一般矩阵，只能保证相异特征值所对应的特征向量线性无关。 性质3

NumPy 提供了线性代数函数库 linalg ，该库包含了线性代数所需的所有功能。 函数 描述 dot 两个数组的点积，即元素对应相乘。 vdot 两个向量的点积 inner 两个数组的内积 matmul 两个数组的矩阵积 determinant 数组的行列式 solve 求解线性矩阵方程 inv 计算矩阵的乘法逆矩阵 numpy.dot() 对于两个一维的数组，计算的是这两个数组对应下标元素的乘积和(数学上称之为内积)； 对于二维数组，计算的是两个数组的矩阵乘积； 对于多维数组，它的通用计算公式如下，即结果数组中的每个元素都是：数组a的最后一维上的所有元素与数组b的倒数第二位上的所有元素的乘积和： dot(a, b)[i,j,k,m] = sum(a[i,j,:] * b[k,:,m])。 numpy.dot(a, b, out=None) 参数说明： a : ndarray 数组 b : ndarray 数组 out : ndarray, 可选，用来保存dot()的计算结果 import numpy.matlib import numpy as np a = np.array([[1,2],[3,4]]) b = np.array([[11,12],[13,14]]) print(np.dot(a,b)) 输出结果为： [[37 40] [85 92]] 计算式为： [[1

一些无关紧要的Q&A Q：你是怎么想到这个花里胡哨的算法的啊？ A：前几天学习线性代数时有幸和 Magolor大佬 讨论到 $LU$ 分解在多解时的时间复杂度问题，于是yy出了这个奇怪（？）的算法。 Q：为什么叫 $QGXZ$ 分解呀？你是不是在装逼啊？ A：这个名字是 Magolor大佬 起的，我也只能无条件服从咯~ 如有雷同绝非学术不端~ Q： Magolor大佬 太强啦~ A：恭喜我们达成了共识~ 概述 $QGXZ$ 分解，是用于解决多线性方程组通解问题的算法。具体来讲： 给出 $n\times m$ 的系数矩阵 $A$ ，分别求 $Ax=b_1,Ax=b_2,...,Ax=b_q$ 的 通解 ，其中 $b_i$ 是 $n\times 1$ 的列向量。以下假设 $n,m,q$ 同阶。 如果对 $b_i$ 强制在线的话，朴素算法的时间复杂度为 $O(n^4)$ 。如果对矩阵进行 $QGXZ$ 分解，则复杂度降为 $O(n^3)$ 。 前置技能 $QGXZ$ 分解本质上是 $LU$ 分解的扩展，因此先来介绍一下 $LU$ 分解。 $LU$ 分解是对于一个 $n\times m$ 的矩阵，将其分解为一个 $n\times n$ 的下三角矩阵 $L$ 和一个 $n\times m$ 的上梯形矩阵 $U$ 的乘积的结果，即 $A=L\times U$ 。 求法：对于矩阵 $A$