矩阵转置

本系列博客作为记录花书的一些知识点，一些“显而易见”的，我就不多写了 2.1 标量、向量、矩阵和张量 标量：一个单独的数。 向量：一列数。 矩阵：一个二维数组。 张量：一个数组中的元素分布在若干维坐标的规则网络中，我们称之为张量。 转置：矩阵的转置是以对角线为轴的镜像。 2.2 矩阵和向量相乘 矩阵乘积： 元素对应乘积（Hadamard乘积）：两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积。不过，那样的矩阵操作确实是存在的，被称为元素对应乘积（element-wise product）或者Hadamard 乘积（Hadamard product），记为 A ⊙ B。 点积：两个相同维数的向量 x 和 y 的点积（dot product）可看作是矩阵乘积 x ⊤ y。 2.3 单位矩阵和逆矩阵 单位矩阵： 逆矩阵： 2.4 线性相关和生成子空间 线性相关： 线性无关：如果一组向量中的任意一个向量都不能表示成其他向量的线性组合，那么这组向量称为线性无关。 2.5 范数 1. 2.范数是满足下列性质的任意函数： 3.p=2时，L²范数是欧几里得范数，表示从原点出发到向量x确定的点的欧几里得距离。 4.平方L²范数也经常用来衡量向量的大小，可以简单的通过点积 计算。 5.平方L²范数在计算上比L²范数本身方便，但是它在原点附近增长得十分缓慢。在某些机器学习应用中

https://www.cnblogs.com/fuleying/p/4466326.html 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。 1. 特征值： 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式： 写成矩阵形式： 这时候λ就被称为特征向量v对应的特征值， 一个矩阵的一组特征向量是一组正交向量 。 2. 特征分解： 特征值分解是将一个矩阵分解成下面的形式： 其中Q是这个矩阵A的特征向量组成的矩阵， 正交矩阵是可逆的。 Σ = diag(λ 1 , λ 2 , ..., λ n )是一个对角阵，每一个对角线上的元素就是一个特征值。 首先，要明确的是， 一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。 　　当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线性变化可能没法通过图片来表示，但是可以想象，这个变换也同样有很多的变换方向， 我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。 我们利用这前N个变化方向，就可以近似这个矩阵（变换）。也就是之前说的： 提取这个矩阵最重要的特征。 总结一下，特征值分解可以得到特征值与特征向量，

线性判别分析(Linear Discriminant Analysis)，简称LDA,是一种经典的线性学习方法。在二分类问题上最早由Fisher提出，也称"Fisher判别分析"。 在主成分分析原理总结中，我们对降维算法PCA进行了总结。这里的LDA是另一种经典的的降维算法。使用PCA进行降维，我们没有将类别考虑进去，属于无监督学习。而LDA是一种监督学习的降维技术，即它的每个样本是有类别输出的。 LDA的思想 给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。 用一句话概括就是：投影后类内方差最小，类间方差最大。 瑞利商与广义瑞利商(Rayleigh quotient) 瑞利商定义：瑞利商是指这样的函数 \(R(A,x)\) : \[R(A,x)=\dfrac{x^HAx}{x^Hx}\] 其中 \(x\) 为非零向量，而A为 \(n\times n\) 的Hermitan矩阵。所谓的Hermitan矩阵就是它的共轭转置等于它本身，属于推广的对称矩阵，即 \(A^H=A\) .如果A是实对称阵， \(A^T=A\) 即为Hermitan矩阵。 瑞利商 \(R(A,x)\) 有 一个非常重要的性质，即它的最大值等于矩阵A的最大特征值

对角阵 对角矩阵 只有对角线上有非零元素的矩阵 数量矩阵 对角线上的元素相等的对角矩阵 单位矩阵 对角线上都为1的对角矩阵 （1）提取矩阵的对角线上的元素 diag(A) 提取矩阵A主对角线元素，产生一个列向量。 diag(A,k) 提取第k条对角线上的元素 k=0是中间的那条对角线 （2）构造对角矩阵 diag(V) 产生一个主对角线为V的对角阵 diag(V,k) 向量v为第k条对角线 例子 先建立5阶矩阵A，然后将A的第一行元素乘以1，第二行乘以2，……，第五行乘以5. >> A=[4 5 6 7 8;9 5 3 1 6;4 6 2 3 6;5 3 5 4 6;5 6 4 6 4] A = 4 5 6 7 8 9 5 3 1 6 4 6 2 3 6 5 3 5 4 6 5 6 4 6 4 >> D=diag(1:5) D = 1 0 0 0 0 0 2 0 0 0 0 0 3 0 0 0 0 0 4 0 0 0 0 0 5 >> F=D*A F = 4 5 6 7 8 18 10 6 2 12 12 18 6 9 18 20 12 20 16 24 25 30 20 30 20 三角阵 上三角阵 矩阵的对角线一下的元素全为零的矩阵 （1）ttiu(A) triu(A,k) 下三角阵 …………………上……………………… (2)tril(A) tril(A,k) 矩阵的转置

方阵的行列式 det(A) 求方阵的A所对应的行列式的值 矩阵的秩 rank(A) 求矩阵A的秩 求3~20阶魔方阵的秩 for n=3:20 magic(n) r(n)=rank(magic(n)) bar(r) grid on end 矩阵的迹 迹等于对角线之和等于特征值之和 trace(A)求矩阵的A的迹 向量和矩阵的范数 norm(V)或norm(V,2) 计算向量V的2范数 矩阵A的转置的最大特征值的平方根 norm(V,1)计算向量V的1范数 矩阵列元素绝对值之和的最大值 norm(V,inf)计算向量V的∞范数 所有矩阵行向量绝对值之和的最大值 矩阵的条件数 条件数是范数与逆矩阵范数的乘积 条件数越接近于一，矩阵的性能越好 cond(A,1) 1范数条件数 cond(A)或cond(A,2) 2 cond(A,inf) 无穷 来源： CSDN 作者： qq_41724350 链接： https://blog.csdn.net/qq_41724350/article/details/103913734

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 怎么求特征值和特征向量？ 实例： ξ是初始单位向量组 A是旋转矩阵。 基本性质： 非奇异也叫做满秩，非退化，可逆 矩阵的行列式与矩阵行列式的转置是一样的 最后结果得出：特征方程一样，则特征值一样。 运用根与系数关系公式直接套就可以。 迹-----所有的对角线元素都加起来。 例题： 方法一:如果不验证有可能不正确，不够严谨。 通过方法二可知等于1这个条件是多余的。 来源： oschina 链接： https://my.oschina.net/u/2914586/blog/783856

透视投影是3D固定流水线的重要组成部分，是将相机空间中的点从视锥体(frustum)变换到规则观察体(Canonical View Volume)中，待裁剪完毕后进行透视除法的行为。在算法中它是通过透视矩阵乘法和透视除法两步完成的。 透视投影变换是令很多刚刚进入3D图形领域的开发人员感到迷惑乃至神秘的一个图形技术。其中的理解困难在于步骤繁琐，对一些基础知识过分依赖，一旦对它们中的任何地方感到陌生，立刻导致理解停止不前。 没错，主流的3D APIs如OpenGL、D3D的确把具体的透视投影细节封装起来，比如gluPerspective(„) 就可以根据输入生成一个透视投影矩阵。而且在大多数情况下不需要了解具体的内幕算法也可以完成任务。但是你不觉得，如果想要成为一个职业的图形程序员或游 戏开发者，就应该真正降伏透视投影这个家伙么？我们先从必需的基础知识着手，一步一步深入下去（这些知识在很多地方可以单独找到，但我从来没有在同一个地 方全部找到，但是你现在找到了）。 我们首先介绍两个必须掌握的知识。有了它们，我们才不至于在理解透视投影变换的过程中迷失方向（这里会使用到向量几何、矩阵的部分知识，如果你对此不是很熟悉，可以参考 可以找到一组坐标(v1,v2,v3)，使得 v = v1 a + v2 b + v3 c （1） 而对于一个点p，则可以找到一组坐标（p1,p2,p3），使得 p –

矩阵 A ∈ R m × n 和 B ∈ R n × p 的乘积为矩阵 ： 其中： . 请注意，矩阵A的列数应该与矩阵B的行数相等，这样才存在矩阵的乘积。有很多种方式可以帮助我们理解矩阵乘法，这里我们将通过一些例子开始学习。 2.1 向量的乘积 给定两个向量x，y ∈ R n ，那么x T y的值，我们称之为向量的 内积 或 点积。它 是一个由下式得到的实数： . 可以发现，内积实际上是矩阵乘法的一个特例。通常情况下x T y = y T x。 对于向量x ∈ R m ， y ∈ R n （大小不必相同），xy T ∈ R m×n 称为向量的 外积 。外积是一个矩阵，其中中的每个元素，都可以由 得到，也就是说， . 我们举个例子说明外积有什么用。令 1 ∈ R n 表示所有元素都是1的n维向量，然后将矩阵 A ∈ R m × n 的每一列都用列向量 x ∈ R m 表示。使用外积，我们可以将A简洁的表示为： . 2.2 矩阵 - 向量的乘积 对于一个矩阵 A ∈ R m × n 和向量 x ∈ R n ，他们的乘积为向量 y = Ax ∈ R m 。理解矩阵向量乘法的方式有很多种，我们一起来逐一看看。 以行的形式书写A，我们可以将其表示为Ax的形式： . 也就是说， y 第 i 行的元素等于A的第 i 行与x的内积 . 咱们换个角度，以列的形式表示A，我们可以看到： . 换言之，

数学知识 数学知识总括 微积分(高等数学) 线性代数 概率论与数理统计 凸优化 微积分 微积分学，数学中的基础分支。内容主要包括函数、极限、微分学、积分学及其应用。函数是微积分研究的基本对象，极限是微积分的基本概念，微分和积分是特定过程特定形式的极限 微积分/高等数学。在机器学习中，微积分主要用到了微分部分，作用是求函数的极值，就是很多机器学习库中的求解器（solver）所实现的功能。在机器学习里会用到微积分中的以下知识点： 导数和偏导数的定义与计算方法 梯度向量的定义 极值定理，可导函数在极值点处导数或梯度必须为0 雅克比矩阵，这是向量到向量映射函数的偏导数构成的矩阵，在求导推导中会用到 Hessian矩阵，这是2阶导数对多元函数的推广，与函数的极值有密切的联系 凸函数的定义与判断方法 泰勒展开公式 拉格朗日乘数法，用于求解带等式约束的极值问题 其中最核心的是记住多元函数的泰勒展开公式，根据它我们可以推导出机器学习中常用的梯度下降法，牛顿法，拟牛顿法等一系列最优化方法： 线性代数 线性代数的理论是计算技术的基础，同系统工程，优化理论及稳定性理论等有着密切联系，随着计算技术的发展和计算机的普及，线性代数作为理工科的一门基础课程日益受到重视。线性代数这门课程的特点是概念比较抽象，概念之间联系很密切。内容包括行列式，矩阵，向量空间，线性方程组，矩阵的相似对角化，二次型

线性相关和生成子空间 　　如果逆矩阵 A -1 存在，那么式子 A x = b 肯定对于每一个向量 b 恰好存在一个解。但是，对于方程组而言，对于向量 b 的某些值，有可能无解或者存在无限多解。存在多于一个解但是少于无限多个解的情况是不可能发生的；因为如果 x 和 y都是某方程组的解，则 z = αx + (1-α)y， (α取任意实数)也是该方程组的解。 　　形式上，一组向量的线性组合，是指每个向量乘以对应标量系数之后的和，即：∑ i x i v (i) ，一组向量的生成子空间(span)是原始向量线性组合后所能抵达的点的集合。 在线性代数里，矢量空间的一组元素中，若没有矢量可用有限个其他矢量的线性组合所表示，则称为 线性无关或线性独立 (linearly independent)，反之称为 线性相关 (linearly dependent)。 　　 例如在三维欧几里得空间R的三个矢量(1, 0, 0)，(0, 1, 0)和(0, 0, 1)线性无关；但(2, 0, 1)，(1, 0, 1)和(3, 1, 2)线性相关，因为第三个是前两个的和。 　　确定 A x = b 是否有解，相当于确定向量 b 是否在 A 列向量的生成子空间中。这个特殊的生成子空间被称为 A 的列空间 （column space）或者 A的值域（range）。 范数 　　范数（norm）函数可以衡量向量大小