高斯

相关视频可见 皮皮学机器学习 高斯混合模型（GMM） 学完了EM算法之后，就情不自禁地想学习一下高斯混合模型了。 高斯混合模型是具有如下形式的概率分布模型。 P ( x ) = ∑ k = 1 K W k g ( x ∣ μ k , ∑ k ) P(x)=\sum_{k=1}^KW_kg(x|\mu_k,\sum_k) P ( x ) = k = 1 ∑ K ​ W k ​ g ( x ∣ μ k ​ , k ∑ ​ ) 现在我们来解释一下上式的参数，K为GMM中成分的个数，也就是说有几个高斯分布，g是这几个高斯分布对应的分布密度函数，均值 μ \mu μ 是其均值，协方差矩阵 ∑ \sum ∑ ,W是每个成分的权重。 案例引入 依然使用一个男女身高为例： 在校园里随机抽取2000个学生，其中有男有女，已知男生，女生的身高都服从高斯分布，这两个高斯分布的均值和方差我们都不知道，另外由于某种原因，我们也不知道2000个学生里男生和女生的个数，现在我们要求出两个分布的均值和方差，还有男女比例。 1.初始化参数 2.计算每条身高数据为男/女分布的概率 该条样本所属于男生/女生分布的概率，这里用R表示，其实这一步就是EM算法中的E步，求期望 一维高斯函数： g ( h ∣ μ , σ ) = 1 2 π σ e − 1 2 σ ( x − μ ) 2 g(h|\mu,\sigma)=

参考博客 https://blog.csdn.net/qq_28193895/article/details/80845803 https://blog.csdn.net/u013989576/article/details/49226611 https://blog.csdn.net/tostq/article/details/49314017 https://www.cnblogs.com/zyly/p/9542164.html https://www.cnblogs.com/gfgwxw/p/9440785.html https://www.cnblogs.com/wyuzl/p/7838103.html https://www.cnblogs.com/sonicmlj/p/9564182.html https://blog.csdn.net/dreamguard/article/details/83988814 https://blog.csdn.net/yangying1992/article/details/100809629 https://www.cnblogs.com/jiahenhe2/p/7930802.html https://blog.csdn.net/jiaoyangwm/article/details/79986729 1.Susan 原理

高斯消元法，消成行阶梯型矩阵。 下面两种消元法的时间复杂度都是 $O(n^3)$. #include<bits/stdc++.h> using namespace std; const int maxn = 100+10; typedef double Matrix[maxn][maxn]; //要求系数矩阵可逆 //这里的A是增广矩阵，即A[i][n] 是第i个方程右边的常数bi //运行结束后A[i][n] 是第i个未知数的值 void gauss_elimination(Matrix A, int n) { int i, j, k, r; for(i = 0;i < n;i++) //消元过程 { //选绝对值一行r并与第i行交换 r = i; for(j = i+1; j < n;j++) if(fabs(A[j][i] > fabs(A[r][i]))) r = j; if(r != i) for(j = 0;j <= n;j++) swap(A[r][j], A[i][j]); //与第i+1~n行进行消元 for(k = i+1; k < n;k++) { double f = A[k][i] / A[i][i]; for(int j = i;j <= n;j++) A[k][j] -= f * A[i][j]; //已经是阶梯型矩阵了，所以从i开始 } } /

事实上，棣莫弗早在1730年~1733年间便已从二项分布逼近的途径得到了正态密度函数的形式，到了1780年后，拉普拉斯也推出了中心极限定理的一般形式，但无论是棣莫弗，还是拉普拉斯，此时他们这些研究成果都还只是一个数学表达式而非概率分布，也就是压根就还没往误差概率分布的角度上去思索，而只有到了1809年，高斯提出“正太误差”的理论之后，它正太理论才得以“概率分布“的身份进入科学殿堂，从而引起人们的重视。 追本溯源，正态分布理论这条大河的源头归根结底是测量误差理论。那高斯到底在正态分布的确立做了哪些贡献呢？请看下文。 1801年1月，天文学家Giuseppe Piazzi发现了一颗从未见过的光度8等的星在移动，这颗现在被称作谷神星（Ceres）的小行星在夜空中出现6个星期，扫过八度角后在就在太阳的光芒下没了踪影，无法观测。而留下的观测数据有限，难以计算出他的轨道，天文学家也因此无法确定这颗新星是彗星还是行星，这个问题很快成了学术界关注的焦点。高斯当时已经是很有名望的年轻数学家了，这个问题也引起了他的兴趣。高斯一个小时之内就计算出了行星的轨道，并预言了它在夜空中出现的时间和位置。1801年12月31日夜，德国天文爱好者奥伯斯(Heinrich Olbers)在高斯预言的时间里，用望远镜对准了这片天空。果然不出所料，谷神星出现了！ 高斯为此名声大震

GAN——ModeCollapse 2017年05月21日 13:54:31 LiuSpark 阅读数 6821 更多 分类专栏： 机器学习 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/SPARKKKK/article/details/72598041 大部分内容来源于李宏毅的课程[1] Example 先给一个直观的例子，这个是在我们训练GAN的时候经常出现的 这就是所谓的Mode Collapse 但是实际中ModeCollapse不能像这个一样这么容易被发现(sample中出现完全一模一样的图片) 例如训练集有很多种类别(如猫狗牛羊)，但是我们只能生成狗(或猫或牛或羊)，虽然生成的狗的图片质量特别好，但是！整个G就只能生成狗，根本没法生成猫牛羊，陷入一种训练结果不好的状态。这和我们对GAN的预期是相悖的。 Analysis 如上图。 P d a t a Pdata是八个高斯分布的点，也就是8个mode。 我们希望给定一个随机高斯分布（中间列中的最左图），我们希望这一个随机高斯分布经过G最后可以映射到这8个高斯分布的mode上面去 但是最下面一列的图表明，我们不能映射到这8个高斯分布的mode上面，整个G只能生成同一个mode，由于G和D的对抗关系

模糊数乘积运算 模糊理论 高斯型隶属函数 模糊集 实现 模糊理论 在上一篇文章内讲过了 高斯型隶属函数 高斯型隶属函数（ gaussian membership function）公式： 它不是高斯概率密度函数（gaussian probability density function）： 模糊集 使用高斯型隶属函数求得满足条件的模糊集合，然后进行乘法运算。 目标： 假设一辆行驶速度为v米/秒的汽车前方d米有一个障碍物，设阻力为速度的程度和距离的程度的联合，设计并求出该联合。 ①划分v、d的程度区间，这里只是假设，就将它们都划分成(0, 50, 100)三个程度； ②在v和d区间内随机地产生一定数量的随机数x, y； ③使用高斯型隶属函数，求得v，d各自的模糊集X, Y； ④将两个模糊集相乘，得到三维矢量集：Z = X + Y； ⑤以XYZ在三维坐标系中画出。 实现 # python-模糊数乘积运算 # coding: utf-8 import numpy as np import matplotlib . pyplot as plt import math import mpl_toolkits . mplot3d plt . rcParams [ 'font.sans-serif' ] = [ 'SimHei' ] #用来正常显示中文标签 plt . rcParams [

今天我们来做一道题目。 输入正整数 \(n\) ( \(\le 10^{15}\) )，求 \(x^2+y^2=n^2\) 的整数解的个数。 也就是圆心为原点，半径为 \(n\) 的圆上整点的数量。 为了得到更普遍的结论，我们改为 \(x^2+y^2=n\) 来做。 我们引入一个概念，叫做 【定义1】 高斯整数：形如 \(a+bi\) 的数称为高斯整数，其中 \(a,b\in Z,i=\sqrt{-1}\) 。 于是就转化为了求 \((a+bi)(a-bi)=n\) 中 \(a,b\) 的数量。 注意到 \(n,a+bi,a-bi\) 都是高斯整数，就联想到对高斯整数 \(n\) 进行质因数分解。 【定义2】 高斯素数：高斯整数中，不能分解为两个高斯整数的乘积（ \(1,-1,i,-i\) 除外）的，称为高斯素数。 至于为什么 \(1,-1,i,-i\) 除外，就像整数分解中 \(1,-1\) 除外一样，因为这些东西是单位元，对分解形式没有什么大的影响，所以就去除了。 如何对整数 \(n\) 进行高斯素数的分解呢？注意到 \(n=p_1p_2\ldots p_k\) 有唯一分解形式，只要考虑质数 \(p\) 如何进行高斯素数的分解。于是就有了 【定理1】（费马二平方和定理） 对于质数 \(p\) ，若 \(p\equiv 1(\mathrm{mod} \ 4)\) 或 \(p=2\

简介： 数学上，高斯消元法（英语：Gaussian Elimination），是线性代数中的一个算法，可用来为线性方程组求解，求出矩阵的秩，以及求出可逆方阵的逆矩阵。当用于一个矩阵时，高斯消元法会产生出一个行梯阵式。 以上引自维基百科。。。 原理： 我们可以把一个 \(n\) 元 \(1\) 次方程表示成一个 \(n\) 行 \(n+1\) 列的矩阵 矩阵前 \(n\) 列为系数矩阵，第 \(n+1\) 列为值，我们可以先举一个例子 \[ \begin{cases} \ x+3y+4z=5\\ \ x+4y+7z=3\\ \ 9x+3y+2z=2 \end{cases} \Longrightarrow \left|\begin{array}{cccc} 1& 3& 4& 5\\ 1& 4& 7& 3\\ 9& 3& 2& 2 \end{array}\right| \] 然后我们依次对每一个未知数进行消元，然后得出答案，消元的方法就是 加减消元 和 代数消元 这两种方法应该是初中就讲了的把。。。就不再赘述 算法流程： 我们每次对于要消去的未知数，找到他系数最大的那一个方程(减少精度误差) 我们把这个方程的系数化为1，然后通过这个等式消去其他等式里的这个未知数 重复这个过程，直到只剩下最后一个未知数，此时我们就已经知道了这个未知数的值 然后我们再把值带回到方程组，依次得到其他未知数的解

#include <bits/stdc++.h> #define N 104 #define setIO(s) freopen(s".in","r",stdin) using namespace std; int n; double g[N][N]; void Gauss() { int i,j,k,now; for(i=1;i<=n;++i) { now=i; for(j=i+1;j<=n;++j) if(fabs(g[j][i])>fabs(g[now][i])) now=j; for(j=1;j<=n+1;++j) swap(g[now][j],g[i][j]); if(g[i][i]==0) { printf("No Solution\n"); exit(0); } for(j=i+1;j<=n+1;++j) g[i][j]/=g[i][i]; g[i][i]=1; for(j=i+1;j<=n;++j) // 枚举第 j 行 { double div=g[j][i]; for(k=i+1;k<=n+1;++k) g[j][k]-=div*g[i][k]; g[j][i]=0; } } for(i=n;i>=1;--i) { for(j=i+1;j<=n;++j) { g[i][n+1]-=g[i][j]*g[j][n+1]; } } } int main() { int

特征提取 直方图 用于计算图片的特征（Feature) 和表达（representation） 对图片数据/特征分别的一种统计 ** 灰度、颜色 ** 梯度/边缘、形状、纹理 ** 局部特征点、视觉词汇 区间（bin） ** 均有一定的统计或者物理意义 ** 一种数据或者特征的代表 ** 需要预定义或者基于数据进行学习 ** 数值是一种统计量： 概率、频数、特定积累 维度小于原始数据 对数据空间（Bin）进行量化 人工分割 人工分割： 简单高效，但是存在量化问题，量化过宽容易造成精度的损失或者量化过窄容易过拟合 聚类算法进行无监督学习 常用方法：Kmeans、 EM算法、Mean shift、谱聚类、层次聚类等 Kmeans 容易受到类中心书K的选择和初始点的选取的影响-->容易陷入局部最优 ** 改进：多次全随机取最优；Kmeans++ 半随机 几何特征 边缘（Edge） ** 像素明显变化的区域 ** 具有丰富的语义信息 用于物体识别和几何、视角变化 一般边缘定义为：像素值函数快速变化的区域-->一阶导数（灰度值函数）的极值区域 边缘提取： ** 先高斯去噪，在使用一阶导数获取极值（导数对噪声敏感） ** 梯度幅值/强度： $ h_{x}{{(x,y)}^{2}}+h_{y}{{(x,y)}^{2}} $ ** 梯度（增加最快）方向 $ \arctan (\frac{h_{y}