矩阵

卷积操作的参数量和FLOPs   这里首先需要辨析一个概念就是FLOPs和FLOPS可以看到简写的差别仅仅是一个字母大小写的区别。   FLOPS(floating-point operations per second)，这个缩写长这个样子确实也很奇怪，大致概念就是指每秒浮点数运算次数，最后一个S是秒(second)的缩写，是计组中的概念，用来描述计算机的运算速度。   FLOPs(floating-point operations)，一旦s变为小写，就表示复数的概念，就是浮点数运算次数，这就和计算量相关了， 和卷积或者其他算法联系起来基本上就表示计算次数，可用来衡量操作的复杂程度。   卷积的参数基本上都是说的卷积核的参数，拿一层神经网络来看，卷积核的大小是 ( k h , k w ) (k_h,k_w) ( k h ​ , k w ​ ) ，显然一个卷积核的参数量是这个卷积核的矩阵 k h ∗ k w k_h*k_w k h ​ ∗ k w ​ ，通常这里还要加上一个偏置 b b b ，算作一个参数，为了简便计算，这里忽略不计。如果说一层神经网络的输入通道数为 C i n C_{in} C i n ​ 输出通道数为 C o u t C_{out} C o u t ​ ，卷积核需要通过矩阵运算，把输入的 C i n C_{in} C i n ​ 的通道数映射为输出为 C o u

1、如果不想用actave:1>，可以使用SP1（'>> '）可以改变红色输出以>>表示 2、利用Octave绘制直方图： octave:1> w = -6 + sqrt(10)*(randn(1, 100000)); octave:2> hist(w) octave:3> hist(w ,50) % 绘制条数为50的直方图3、flipud表示矩阵垂直翻转4、设置坐标轴范围 5、添加路径 　　 addpath（''）搜索函数时即便不在当前目录，添加其他路径后，会搜索其路径。 6、可视化矩阵命令imagesc(),在用colorbar显示不同颜色的梯度，colormap gray显示灰度图。 来源： https://www.cnblogs.com/gkh-whu/p/10549346.html

§矩阵连乘问题 § 蛮力法：搜索所有可能的计算次序，并计算出每种计算次序相应需要的数乘次数，从中找出一种数乘次数最少的计算次序。设不同计算次序为P(n)。 说明： 将矩阵连乘积AiAi+1…Aj简记为A[i:j]，i≤j。 考察计算A[i:j]的最优计算次序。设这个计算次序在矩阵 Ak和Ak+1之间将矩阵链断开，i≤k<j，则其相应完全 加括号方式为(AiAi+1…AK)(Ak+1Ak+2…Aj) 计算量： A[i:k]的计算量加上A[k+1:j]的计算量，再加上 A[i:k]和A[k+1:j]相乘的计算量。 （1）分析最优解结构： Ø计算A[i:j]的最优次序所包含的计算矩阵子链 A[i:k]和A[k+1:j]的次序也是最优的。 Ø矩阵连乘计算次序问题的最优解包含着其子问题的最优解，满足最优子结构性质。问题的最优子结构性质是该问题可用动态规划算法求解的显著特征。 （2）建立递推关系 1.设计算A[i:j]，1≤i≤j≤n，所需要的最少数乘次数m[i,j]，则原问题的最优值为m[1,n]。 2.递推方程 #include <iostream> #include <cstdlib> #define MAX 100 using namespace std; void MatrixChain(int p[], int m[][5], int s[][5], int n){ for(int

给定n个矩阵{A 1 ,A 2 ,…,A n }，其中A i 与A i+1 是可乘的，i=1,2,…,n-1。考察这n个矩阵的连乘积A 1 A 2 …A n 。由于矩阵乘法满足结合律，故计算矩阵的连乘积可以有许多不同的计算次序，这种计算次序可以用加括号的方式来确定。若一个矩阵连乘积的计算次序完全确定，则可以依此次序反复调用2个矩阵相乘的标准算法（有改进的方法，这里不考虑）计算出矩阵连乘积。若A是一个p×q矩阵，B是一个q×r矩阵，则计算其乘积C=AB的标准算法中，需要进行pqr次数乘。 矩阵连乘积的计算次序不同，计算量也不同，举例如下： 先考察3个矩阵{A 1 ,A 2 ,A 3 }连乘，设这三个矩阵的维数分别为10×100，100×5，5×50。若按（（A 1 A 2 ）A 3 ）方式需要的数乘次数为10×100×5＋10×5×50＝7500，若按（A 1 （A 2 A 3 ））方式需要的数乘次数为100×5×50＋10×100×50＝75000。 下面使用动态规划法找出矩阵连乘积的最优计算次序。 I: 设矩阵连乘积A i A i+1 …A j 简记为A[i:j]，设最优计算次序在A k 和A k+1 之间断开，则加括号方式为：（（A i A i+1 …A k ）（A k+1 …A j ））。则依照这个次序，先计算A[i:k]和A[K+1:j]然后再将计算结果相乘，计算量是：A

由于矩阵的乘法满足结合律，故计算矩阵的连乘积可以有许多不同的计算次序。这中计算次序 可以用加括号的方式来确定。例如，矩阵连乘积A1A2A3A4可以有5种不同的完全加括号方式： (A1(A2(A3A4))) (A1((A2A3)A4)) ((A1A2)(A3A4)) ((A1(A2A3))A4) (((A1A2)A3)A4) 矩阵A和B可乘的条件是矩阵A的列数等于矩阵B的行数。若A是一个p*q的矩阵， B是一个q*r的 矩阵，其乘机C=AB是一个p*r的矩阵，总共需要pqr次数乘。 为了说明在计算矩阵连乘积 时，加括号方式对整个计算量的影响，我们考察计算3个矩阵A1A2A3的连乘积的例子。 这3个矩阵的尺寸分别为10*100，100*5和5*50。 若以((A1A2)A3)这种方式计算， 3个矩阵的连乘积需要的数乘次数为7500。 若以(A1(A2A3))这种方式计算， 所需的数乘次数为75000。显然，在即算矩阵连乘积时，加括号方式对计算量有很大影响。 1.分析最优解的结构 设计求解具体问题的动态规划算法的第一步是刻画该问题的最优解的结构特征。我们将矩 阵连乘积AiAi+1....Aj简记为A[ i : j ]。考察计算A[ 1: n]的最优计算次序。设这个计算 次序在矩阵Ak和Ak+1之间将矩阵链断开，1<=k<n，则其相应的完全加括号形式为((A1...Ak) (Ak+1..

三维数组如下： Array ( [0] => Array ( [0] => Array ( [id] => 1 [project] => 美的空调 [pro_money] => 3000022.00 [corp_name] => 美的 [status] => 2 [address] => 深圳宝安区 [position] => 总经理 [name] => 无名 [telphone] => 0524-8569623 [mobile] => 18859685952 [email] => 89343432@qq.com [first_money] => 10000.00 [last_money] => 20000.00 [business] => 张三 [help_man] => 李铭 [check_time] => 2019-11-25 [check_setup] => 广东审核机构 [last_check_time] => 2019-11-25 [admin_id] => 5 [create_time] => 2019-11-25 15:00:41 ) ) [1] => Array ( [0] => Array ( [id] => 3 [project] => 天龙项目 [pro_money] => 1000000.00 [corp_name] => 沃尔沃 [status] =>

牛顿法(Newton method)和拟牛顿法(quasi-Newton method)也是求解无约束最优化的常用方法，有收敛速度快的优点。牛顿法是迭代算法，每一步需要求解目标函数的黑塞矩阵的逆矩阵，计算比较复杂。拟牛顿法通过正定矩阵近似黑塞矩阵的逆矩阵或黑塞矩阵，简化了这一计算过程。 牛顿法 考虑无约束最优化问题 min ⁡ x ∈ R n f ( x ) (B.1) \min_{x\in R^n}f(x)\tag{B.1} x ∈ R n min ​ f ( x ) ( B . 1 ) 其中 x ∗ x^* x ∗ 为目标函数的极小值。 ​ 假设f(x)具有二阶连续偏导数，若第k次迭代值为 x ( k ) x^{(k)} x ( k ) ,则可将f(x)在 x ( k ) x^{(k)} x ( k ) 附近进行二阶泰勒展开： f ( x ) = f ( x ( k ) ) + g k T ( x − x ( k ) ) + 1 2 ( x − x ( k ) ) T H ( x ( k ) ) ( x − x ( k ) ) (B.2) f(x)=f(x^{(k)})+g^T_k(x-x^{(k)})+\frac{1}{2}(x-x^{(k)})^TH(x^{(k)})(x-x^{(k)}) \tag{B.2} f ( x ) = f ( x ( k ) ) + g k T

代码下载： 基于PCA（主成分分析）的人脸识别 人脸识别是一个有监督学习过程，首先利用训练集构造一个人脸模型，然后将测试集与训练集进行匹配，找到与之对应的训练集头像。最容易的方式是直接利用欧式距离计算测试集的每一幅图像与训练集的每一幅图像的距离，然后选择距离最近的图像作为识别的结果。这种直接计算距离的方式直观，但是有一个非常大的缺陷—计算量太大。如果每幅图像大小为100*100，训练集大小1000，则识别测试集中的一幅图像就需要1000*100*100的计算量，当测试集很大时，识别速度非常缓慢。 解决上述问题的一个途径是对图像进行降维，通过只保留某些关键像素可以使识别速度大大提升。降维的一个方法即是PCA（主成分分析），在此我们介绍通过PCA进行人脸识别的步骤。 1 读取训练集图像数据 读取测试集目录下指定个数的图像，然后将其保存在一个二维数组中。如果图像个数为m，图像长宽为i、j，则我们创建一个二维数组A[m][i*j=n]用来保存图像数据。 数组的每一行表示一个图像的所有像素信息，每一列表示一个随机变量，也即不同图像同一位置的像素信息，降维也即用更少的列来代表图像。 2 每列减去均值 将步骤一的每列减去该列的均值，这样每列的数据均值为0。在利用matlab的函数princomp执行PCA的过程中，princomp会首先将每一列减去该列均值，不用我们自己执行。 3 计算协方差矩阵

四、多变量线性回归(Linear Regression with Multiple Variables) 4.1 多维特征 4.2 多变量梯度下降 4.3 梯度下降法实践1-特征缩放 4.4 梯度下降法实践2-学习率 4.5 特征和多项式回归 4.6 正规方程 4.7 正规方程及不可逆性（可选） 五、Octave教程(Octave Tutorial) 5.1 基本操作 5.2 移动数据 5.3 计算数据 5.4 绘图数据 5.5 控制语句：for，while，if语句 5.6 向量化 5.7 工作和提交的编程练习 第2周 四、多变量线性回归(Linear Regression with Multiple Variables) 4.1 多维特征 参考视频: 4 - 1 - Multiple Features (8 min).mkv 目前为止，我们探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为 \(\left( {x_{1}},{x_{1}},...,{x_{n}} \right)\) 。 增添更多特征后，我们引入一系列新的注释： \(n\) 代表特征的数量 \({x^{\left( i \right)}}\) 代表第 \(i\) 个训练实例，是特征矩阵中的第i行，是一个向量（vector）。 比方说，上图的

目录 1. 步骤 2. 要素 3. 装配线调度 4. 矩阵链乘 5. 最长公共子序列(Longest Common Subsequece) 6. 最优二叉查找树(Optimal Binary Search Tree) 1. 步骤 描述问题的最优解(optimal solution)结构特征 递归定义最优解值 自底向上 计算最优解值 从已计算得到的最优解值信息中构造最优解 2. 要素 最优子结构和重叠子问题 最优子结构性质是指一个问题的最优解中所包含的所有子问题的解都是最优的。 动态规划避开了递归时，重复计算相同子问题的过程，对每个子问题只解一次，而后将其保存在一个 表格中，当再次需要的时候，查表获取。 3. 装配线调度 最优子结构性质：如果问题的解是最优的，则所有子问题的解也是最优的。在这里，描述为最优 路径的子路径也是最优的。 最优子结构证明：剪枝法 ∵如果子路径P1从开始到S1,j-1不是最优的，那么一定存在一条从开始到S1,j-1的更优子路径P2， 当用P2去替换原子路径P1后，将得到一条比原路径更优的路线，这与假设从开始到S1,j是一条最 优路线矛盾。 ∴子路径P1一定也是最优的 递归定义最优路线的最快时间 最快时间 f =min(f1[n]+x1，f2[n]+x2) 要得到f 值，需要计算fi[j]的每个值 f1[j]=min{f1[j-1]+a(1,j)，f2[j-1]