矩阵转置

第一节 基本 数值计算 1. 变量：分为数值变量和字符变量 2. 常量：计算机中不变的量。如i、j、pi、NaN(不确定)、Inf(无穷大) 3. 字符变量：将字符串作为变量。有三种方法表示： (1) 用单引号' ' (2) 用函数sym(' ') (3) 用命令symbs 4. 举例 x=2 % 将2赋给变量x y=3 ; % 有;表示在命令窗口不显示y的值 z=x^2 -y % 数值计算。输出结果为1 f='sin(x)' % 用单引号定义一个字符变量 g=sym('cos(y)') % 用函数sym(' ')定义一个字符变量 syms a b % 用命令syms定义字符变量。一般用于多符号变量的定义 u=2*a % 字符计算。输出结果为2*a w=b^2-1 % 字符计算。输出结果为b^2-1 fg=f+g % 字符计算。输出结果为sin(x)+cos(y) uw=u*w % 字符计算。输出结果为2*a*(b^2-1) u/w % 字符计算。输出结果为2*a/(b^2-1) 第二节 矩阵构造及运算 Matlab中数据的结构形式就是一个矩阵。如x=2是一个1×1的矩阵 1. 矩阵的建立 (1) 直接输入法。 (2) 冒号法(1×N)。 (3) 函数法(特殊矩阵)。 (4) 矩阵的编辑(Array Editor)。 2. 向量 向量是1×N的特殊矩阵 ，即只有一行或者一列

特殊矩阵 通用型的特殊矩阵 zeros函数：产生全0矩阵，即零矩阵 ones函数：产生全1矩阵，即幺矩阵 eye函数： 产生对角线为1的矩阵。当矩阵是方阵时，得到一个单位矩阵。 rand函数：产生（0,1）区间均匀分布的随机矩阵 randn函数：产生均值为0，方差为1的标准正态分布随机矩阵。 以上函数三种调用格式 例： 产生m x m 零矩阵 ：zeros(m) 产生m x n 零矩阵 ：zeros(m,n) 产生与矩阵A同型的零矩阵 ：zeros(sizeof(A)) 面向专门学科的特殊矩阵 1、 魔方矩阵：n阶魔方阵由1..n 2 共n 2 个整数组成，其每行每列及主、副对角线元素 之和都相等。当n>=2时，有多个不同的n阶魔方阵。 magic(n)：产生一个特定（不是所有的）n阶的魔方阵 2、 范德蒙(Vandermonde的)矩阵（常用与通信编码纠错）： vander(v)函数：生成以向量V为基础的范德蒙矩阵 3、 希尔伯特（Hilbert）矩阵：H( i , j )= 1/ (i+j-) Hilb(n)函数：生成n阶希尔伯特矩阵 4、 伴随矩阵（？？）： Compan(p)函数：求矩阵P的伴随矩阵 5、 帕斯卡矩阵：P( i , j )=p(i , j-1) + p(i-1,j) 且 p(i , 1)= p(1,j)=1 Pascal(n)函数：生成帕斯卡矩阵 矩阵变换

版权声明： 本文由LeftNotEasy发布于 http://leftnoteasy.cnblogs.com , 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系 wheeleast@gmail.com 前言： 上一次写了关于 PCA与LDA 的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。 在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Semantic

矩阵 相乘最重要的方法是一般矩阵 乘积 。它只有在第一个矩阵的列数（column）和第二个矩阵的行数（row）相同时才有意义 [1] 。一般单指矩阵乘积时，指的便是一般矩阵乘积。一个m×n的矩阵就是m×n个数排成m行n列的一个数阵。由于它把许多数据紧凑的集中到了一起，所以有时候可以简便地表示一些复杂的模型。 定义 设 A 为 的矩阵， B 为 的矩阵，那么称 的矩阵 C 为矩阵 A 与 B 的乘积，记作 ，其中矩阵C中的第 行第 列元素可以表示为： 如下所示： 注意事项 当矩阵A的列数等于矩阵B的行数时，A与B可以相乘。 矩阵C的行数等于矩阵A的行数，C的列数等于B的列数。 乘积C的第m行第n列的元素等于矩阵A的第m行的元素与矩阵B的第n列对应元素乘积之和。 基本性质 乘法结合律： ( AB ) C = A ( BC )． [2] 乘法左分配律：( A + B ) C = AC + BC [2] 乘法右分配律： C ( A + B )= CA + CB [2] 对数乘的结合性 k ( AB ）=( kA ) B = A ( kB ）． 转置 ( AB ) T= B T A T． 矩阵乘法一般不满足交换律 [3] 。 乘积-哈达马积( hadamard product) 矩阵 与 矩阵 的Hadamard积记为 。其元素定义为两个矩阵对应元素的乘积 的 m×n 矩阵 [2] 。例如，

环境配置 win10 Python 3.6 tensorflow1.15 scipy matplotlib (运行时可能会遇到module tkinter的问题) sklearn 一个基于Python的第三方模块。sklearn库集成了一些常用的机器学习方法。 代码实现 import matplotlib.pyplot as plt import numpy as np import tensorflow as tf from sklearn import datasets from tensorflow.python.framework import ops ops.reset_default_graph() sess = tf.Session() Session API Session的详细作用 Session是tensorflow中的一个执行OP和计算tensor的一个类。 framework API 补充： 张量(tensor)：TensorFlow程序使用tensor数据结构来代表所有的数据，计算图中，操作间传递的数据都是tensor，你可以把TensorFlow tensor看做一个n维的数组或者列表。 变量(Var iable)：常用于定义模型中的参数，是通过不断训练得到的值。比如权重和偏置。 占位符(placeholder)：输入变量的载体

一、奇异值与特征值基础知识： 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧： 1）特征值： 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式： 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。我这里引用了一些参考文献中的内容来说明一下。首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。比如说下面的一个矩阵： 它其实对应的线性变换是下面的形式： 因为这个矩阵M乘以一个向量(x,y)的结果是： 上面的矩阵是对称的，所以这个变换是一个对x，y轴的方向一个拉伸变换（每一个对角线上的元素将会对一个维度进行拉伸变换，当值>1时，是拉长，当值<1时时缩短），当矩阵不是对称的时候，假如说矩阵是下面的样子： 它所描述的变换是下面的样子： 　　这其实是在平面上对一个轴进行的拉伸变换（如蓝色的箭头所示），在图中，蓝色的箭头是一个最主要的变化方向（变化方向可能有不止一个），如果我们想要描述好一个变换

线性代数-MIT-第4讲 目录 线性代数-MIT-第4讲 1.矩阵AB的逆 2.消元矩阵的乘积 3.转置与置换 1.矩阵AB的逆 2.消元矩阵的乘积 最基础的矩阵分解A=LU: A通过消元矩阵得到上三角阵U,L联系这A和U; E21 A = U A=LU 左乘初等矩阵，将矩阵转化为上三角阵U; L是下三角阵，对角线为1，U是上三角阵，对角线为主元； 举例A为3x3，则消元成为上三角阵U（假设没有行交换）： 此处为何转化成右侧的逆？ 解释（以3x3举例）： (E32为单位阵，E是A的左乘，(3，3)位置是10，不友好) (E32为单位阵，L是U的左乘，L是E的逆，(3，3)位置0，更友好) 因此，A=LU，如果没有行交换，则消元乘数可以直接写入L中； 消元的过程，需要多少次操作？例如nxn的矩阵A: 例如，100x100的矩阵； 第一步，第一行不变，使除第一行外第一列变为0，该过程除第一行其余均变化， 即是100x99,近似于100x100； 第二部，第一二行不变，使除第一二行外第二列变0，该过程除第一二行和和第一列变化， 即是99x98,近似于99x99 因此总的次数为，100x100+99x99+98x98...2x2+1x1,根据微积分可得 而右侧向量b,则需要1+2+3+...+n-1+n-2= 次； 3.转置与置换 下面讨论主元位置存在0的情况，即需要进行行交换(置换矩阵)

前言 AI（人工智能）现在火的一塌糊涂，其实在AI领域，机器学习已广泛应用在搜索引擎、自然语言处理、计算机视觉、生物特征识别、医学诊断、证券市场分析等领域，并且机器学习已经是各大互联网公司的基础设施，不再是一个新鲜的技术。但当你真的开始学习机器学习的时候，就会发现上手门槛其实还挺高的，这主要是因为机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。 本文主要介绍一下机器学习涉及到的一些最常用的的数学知识，方便大家在学习机器学习的时候，能扫除一些基础障碍。 标量（scalar） 标量是一个单独的数，一般用普通小写字母或希腊字母表示，如 等。 向量（vector）相关 向量的定义 把数排成一列就是向量，比如： 向量一般用粗体小写字母或粗体希腊字母表示，如 等（有时候也会用箭头来标识，如 ），其元素记作 。 向量默认为列向量，行向量需要用列向量的转置表示，例如 等。 物理专业视角：向量是空间中的箭头，决定一个向量的是它的长度和方向 计算机专业视角：向量是有序的数字列表 数学专业视角：向量可以是任何东西，只要保证两个向量相加以及数字与向量相乘是有意义的即可 运算规则 向量的加法和数量乘法定义： 加法 相同维数的向量之间的加法为： 数量乘法 任意的常数 和向量的乘法为： 在给定数 及向量 的情况下 张成空间 张成空间是向量 和

一.线性回归 线性回归就是将输入项分别乘以一些常量，在将结果加起来得到输出。 假定输入数据存放在矩阵 x 中，而回归系数存放在向量 w 中。 那么预测结果可以通过Y=X的转置*W得出。所以我们求解线性回归模型的核心就在于求解w，如何求呢？首先，我们一定是希望预测出来的值和实际值之间的误差越小越好，所以我们评判w好坏，就可以采用实际值与真实值之差表示，但是这个差有正有负，为了避免正负相互抵消的情况，我们采用平方误差（也就是最小二乘法） 平方误差，我们也可以叫他损失函数。我们现在就是要以w为变量求解损失函数的最小值。 我们可以对w进行求导，令其为0，可得到我们所要求解w所需的计算公式。 局部加权线性回归 线性回归的一个问题是有可能出现欠拟合现象，因为它求的是具有小均方误差的无偏估 计。显而易见，如果模型欠拟合将不能取得好的预测效果。所以有些方法允许在估计中引入一 些偏差，从而降低预测的均方误差。 其中的一个方法是局部加权线性回归。在该算法中，我们给待预测点附近的每个点赋予一定的权重；在这个子集上基于 小均方差来进行普通的回归。 局部加权线性回归的基本思想：设计代价函数时，待预测点附近的点拥有更高的权重，权重随着距离的增大而缩减——这也就是名字中“局部”和“加权”的由来。 权重如何求取： 区别在于此时的代价函数中多了一个权重函数W，这个W要保证，越靠近待测点附近权值越大

1、概念 线性(linear)指量(变量)与量(变量)之间按比例、成直线关系，在数学上可以理解为一阶导数为常数的函数；而非线性(non-linear)是指不成比例、没有直线关系，一阶导数不是常数的函数。 线性代数中的基本量指的是向量，基本关系是严格的线性关系；也就是可以简单的将线性代数理解为向量与向量之间的线性关系的映射。 2、向量(有大小和方向) 向量的运算： 正交向量 3、矩阵的各种类型 左行右列，行*列的意思 矩阵相等： 方阵： 负矩阵、上三角矩阵、下三角矩阵 对角矩阵： 单位矩阵： 对称矩阵： 4、矩阵的各种运算 矩阵的加减： 矩阵的乘法： 数乘：将数λ与矩阵A相乘，就是将数λ与矩阵A中的每一个元素相乘，记作λA；结果C=λA 矩阵与向量的乘法 另一种是分别相乘再相加 矩阵的转置--行和列互换 方阵的行列式 5、行列式计算方法 去掉第一行第一列剩余的称为余子式 行列式计算降维计算更方便 a(i,1)的乘以余子式A(j,1)，若i！=j代表乘以其他行列的余子式，该乘积为零 行列式的性质： 6、伴随矩阵和可逆矩阵 伴随矩阵 7、矩阵的运算规律 8、矩阵的初等变换 矩阵的初等变换 9、矩阵的秩 10、向量组 11、线性方程组的求解(齐次方程&非齐次方程) 特殊解+通解 非齐次方程的解 特解 和 通解 令b=0求基础解决 非齐次方程的通解=齐次方程的通解+非齐次方程的特解 12