sigma

在机器学习中，我们经常要利用极大似然法近似数据整体的分布，本篇文章通过介绍极大似然法及其一些性质，旨在深入浅出地解释清楚极大似然法。 0. 贝叶斯概率 首先看一下经典的贝叶斯公式： $$ p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)} $$ 其中，$p(Y)$称为先验概率($prior$)，即根据先验知识得出的关于变量$Y$的分布，$p(X|Y)$称为似然函数（$likelihood$），$p(X)$为变量$X$的概率，$p(Y|X)$称之为条件概率（给定变量$X$的情况下$Y$的概率，$posterior$，后验概率）。 1. 似然函数 似然，即可能性；顾名思义，则似然函数就是关于可能性的函数了。在统计学中，它表示了模型参数的似然性，即作为统计模型中参数的函数。一般形式如下： $$ L(\omega)=p(D | \omega) = p(x_1, x_2, \cdots ,x_n| \omega) $$ 其中，$D$表示样本集${x_1,x_2,\cdots, x_n}$,  $\omega$表示参数向量。 似然函数表示了在不同的参数向量$\omega$下，观测数据出现的可能性的大小，它是参数向量$\omega$的函数。在某种意义上，我们可以认为其是条件概率的逆反$^{[1]}$。 在这里利用Wikipedia$^{[1]}$中的例子简要说明一下似然函数

Matlab 的fspecial函数用法 fspecial 函数用于建立 预 定义的 滤波算子 ，其语法 格式为： h = fspecial(type) h = fspecial(type，para) 其中type指定算子的类型，para指定相应的 参数； type的类型有： 1、'average' averaging filter 为均值滤波，参数为hsize代表模板尺寸，默认值为【3，3】。 H = FSPECIAL('average',HSIZE) returns an averaging filter H of size HSIZE. HSIZE can be a vector specifying the number of rows and columns in H or a scalar, in which case H is a square matrix. The default HSIZE is [3 3]. 2、 'disk' circular averaging filter 为圆形区域均值滤波，参数为radius代表区域半径，默认值为5. H = FSPECIAL('disk',RADIUS) returns a circular averaging filter (pillbox) within the square matrix of side 2

在很多应用中，图像强度的变化情况是非常重要的信息。强度的变化可以灰度图像的 \(x\) 和 \(y\) 方向导数 \(I_x\) 和 \(I_y\) 进行描述。图像的梯度向量为 \(\nabla I = [I_x, I_y]^T\) 。梯度有两个重要属性，一个是梯度的大小： \[ | \nabla I | = \sqrt{I_x^2+I_y^2} \] 它描述了图像强度变化的强弱，另一个是梯度的角度： \[ \alpha = arctan2(I_y, I_x) \] 描述了图像中每个像素点上强度变化最大的方向。我们可以使用离散近似的方式来计算图像的导数。图像导数大多数可以通过卷积简单地实现： \[ I_x = I*D_x \ 和\ I_y = I*D_y \] 对于 \(D_x\) 和 \(D_y\) ，通常选择Priwitt滤波器： \[ D_x = \left[ \begin{matrix} -1 & 0 & 1 \\ -1 & 0 & 1 \\ -1 & 0 & 1 \end{matrix} \right] 和D_y=\left[ \begin{matrix} -1 & -1 & -1 \\ 0 & 0 & 0 \\ 1 & 1 & 1 \end{matrix} \right] \] 或者Sobel滤波器: \[ D_x = \left[ \begin{matrix} -1

\documentclass[12pt]{article}%{ctexart} \usepackage{ctex} \usepackage{amsmath} \usepackage{amssymb} \usepackage{amsfonts} \usepackage{changepage} \usepackage{graphicx} \usepackage{url} %\usepackage{setspace} \title{一周进展报告} \author{杨拓} \date{\today} \setlength{\parskip}{0.5\baselineskip} \begin{document} \maketitle %生成文档目录 \tableofcontents %构建各章节的一级小结 \pagebreak \section{SIFT} \subsection{SIFT简介\cite{2}} \textbf{尺度不变特征转换(Scale-invariant feature transform或SIFT)}，由David Lowe于1999年首次提出，作用是将一幅图像映射为一个局部特征向量集；特征向量具有平移、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定的不变性。 \begin{adjustwidth}{1cm}{1cm} SIFT算法的特点有：~\\ 1

转载自 https://www.cnblogs.com/endlesscoding/p/10033527.html 奇异值分解在数据降维中有较多的应用，这里把它的原理简单总结一下，并且举一个图片压缩的例子，最后做一个简单的分析，希望能够给大家带来帮助。 1、特征值分解（EVD） 实对称矩阵 在理角奇异值分解之前，需要先回顾一下特征值分解，如果矩阵A是一个m×m的 实对称矩阵 （即 ），那么它可以被分解成如下的形式: 其中Q为标准正交阵，即有 ，Σ为对角矩阵，且上面的矩阵的维度均为m×m。λi称为 特征值 ，qi是Q（特征矩阵）中的列向量，称为 特征向量 。 一般矩阵 上面的特征值分解，对矩阵有着较高的要求，它需要被分解的矩阵A为实对称矩阵，但是现实中，我们所遇到的问题一般不是实对称矩阵。那么当我们碰到一般性的矩阵，即有一个m×n的矩阵A，它是否能被分解成上式的形式呢？当然是可以的，这就是我们下面要讨论的内容。 2、奇异值分解（SVD） 2.1 奇异值分解定义 有一个m×n的实数矩阵A，我们想要把它分解成如下的形式 其中U和V均为单位正交阵，即有 和 ，U称为 左奇异矩阵 ，V称为 右奇异矩阵 ，Σ仅在主对角线上有值，我们称它为 奇异值 ，其它元素均为0。上面矩阵的维度分别为 , , 。 一般地Σ有如下形式 对于奇异值分解，我们可以利用上面的图形象表示，图中方块的颜色表示值的大小

14 异常检测问题 针对给出的样本构建一个模型，在模型范围内的样本点被认为是正常的，超出阈值的样本点被认为是异常的。 14.1 算法实现 一堆样本的每个特征量都对应一个均值和方差 计算样本每个特征的均值和标准差 利用高斯分布构建概率函数： \(p(x)=p(x_1;\mu_1,\sigma^2_1)p(x_2;\mu_2,\sigma^2_2)...p(x_n;\mu_n,\sigma^2_n)\) 设定一个阈值 \(\varepsilon\) 作为概率参考值，若新样本的特征计算出的P大于该值，则认为非异常，小于则认为是异常的 14.2 评估算法 选取大量正常样本训练P 少量正常样本和极少异常样本作为交叉验证集，尝试使用不同的 \(\varepsilon\) 值使 \(F_1\) 值最大 另一部分的少量正常样本和极少异常样本作为测试集 可以通过变化特征如取对数，降幂把样本的特征分布改变为高斯型，也可以组合特征使异常得以凸显 14.3 异常检测算法与监督学习的不同使用范围 异常检测 针对少量正样本(y=1)，用大量负样本(正常)学习p(x)值 监督学习 大量正样本(异常样本)可以用来更新参数 有大量的正样本和负样本也用监督学习 14.4 多元高斯分布 \[ p(X;\mu,\Sigma)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}exp(-\frac{1

原式可以考虑化为： sigma(sigma(d) (d|i) ) (1<=i<=n) 显然上式是满足前缀和性质的，现在考虑如何简化 sigma(d) 换一种思考方式， 枚举因数d，看它在[1,n]中出现了几次 不难发现出现次数为 n/d（向下取整） 这时原式已经化为： sigma(i*(n/i)（向下取整）) 于是可以用数论分块的性质以及等差数列求和 代码： #include <bits/stdc++.h> #define int long long #define sc(a) scanf("%lld",&a) #define scc(a,b) scanf("%lld %lld",&a,&b) #define sccc(a,b,c) scanf("%lld %lld %lld",&a,&b,&c) #define schar(a) scanf("%c",&a) #define pr(a) printf("%lld",a) #define fo(i,a,b) for(int i=a;i<b;++i) #define re(i,a,b) for(int i=a;i<=b;++i) #define rfo(i,a,b) for(int i=a;i>b;--i) #define rre(i,a,b) for(int i=a;i>=b;--i) #define prn() printf("

我今天来推导一下根据 概率模型 来推导一下分类的问题。 题目的大概就是，我们抽取一个样本，然后去判断这个样本应该属于哪个分类。 首先大概的复习一下跟概率论相关的知识 概率论的一些基础知识 我们把问题限定为两个类别的分类。即我们有一个 \(C_1\) 和 \(C_2\) 分类。然后抽取一个样本 \(X_i\) ,去判断 \(X_i\) 应该属于哪个分类。用概率的公式来描述我们的问题 \(P(C_?|X_i)\) 换言之 \(P(C_1|X_i)=1-P(C_2|X_i)\) 那么我们只要求出其中一个概率即可。 根据贝叶斯公式，我们可知 \(P(C_1|X_i） = \frac{P(X_i|C_1)*P(C_1)}{P(X_i|C_1) * P(C_1) + P(X_i|C_2)*P(C_2)}\) 我们对公式进行一些简单的变换：分子和分母同除以分子可以得到 \(P(C_1|X_i)=\frac{1}{1+\frac{P(X_i|C_2)*P(C_2)}{P(X_i|C_1)*P(C_1)}}\) 我们设： \(Z=ln(\frac{P(X_i|C_1)P(C_1)}{P(X_i|C_2)P(C_2)})\) 得到了 \(P(C_1|X_i)=\frac{1}{1+exp(-Z)}\) 我们进一步对Z进行变换： \(Z=ln\frac{P(X_i|C_1)}{P(X_i|C_2)} +

14 异常检测问题 针对给出的样本构建一个模型，在模型范围内的样本点被认为是正常的，超出阈值的样本点被认为是异常的。 14.1 算法实现 一堆样本的每个特征量都对应一个均值和方差 计算样本每个特征的均值和标准差 利用高斯分布构建概率函数： p ( x ) = p ( x 1 ; μ 1 , σ 1 2 ) p ( x 2 ; μ 2 , σ 2 2 ) . . . p ( x n ; μ n , σ n 2 ) p(x)=p(x_1;\mu_1,\sigma^2_1)p(x_2;\mu_2,\sigma^2_2)...p(x_n;\mu_n,\sigma^2_n) p ( x ) = p ( x 1 ​ ; μ 1 ​ , σ 1 2 ​ ) p ( x 2 ​ ; μ 2 ​ , σ 2 2 ​ ) . . . p ( x n ​ ; μ n ​ , σ n 2 ​ ) 设定一个阈值 ε \varepsilon ε 作为概率参考值，若新样本的特征计算出的P大于该值，则认为非异常，小于则认为是异常的 14.2 评估算法 选取大量正常样本训练P 少量正常样本和极少异常样本作为交叉验证集，尝试使用不同的 ε \varepsilon ε 值使 F 1 F_1 F 1 ​ 值最大 另一部分的少量正常样本和极少异常样本作为测试集 可以通过变化特征如取对数，降幂把样本的特征分布改变为高斯型

Factor_Analysis（因子分析） Factor Analysis 简书 ：较好理解的解释，其中公式有一定的推导（仅展现关键步骤，细节大多需要自行补充），基本为结论式。 感性层面理解： 首先，明确FA和PCA的区别。PCA做的是对某个样本，试图寻找到一组方差尽量大的线性表示（基向量），以便降维；FA做的是，假想存在一些隐变量，它们影响着我们的观测结果（即我们得到的数据样本），我们试图找到两者的联系：$x = \Lambda z + \mu + \epsilon$，在简书中有说明其MLE函数形式，不难看出它的MLE形式难以求解，故采用EM（ 机器学习之最大期望(EM)算法 ，讲得不错）迭代以求最优解。此外，FA通常用于$m<<n$的庆幸 心路历程： 首先，我去推了一下EM，发现自己之前学的时候，由于是在GMM求解的时候需要的，所以并没有很仔细地推导，所以就再去推导了一次 推了我一页草稿纸 。其次，没有找到：$\mu_{x_1|x_2} = \mu_1 + \Sigma_{12} \Sigma_{22}^{-1} (x_2 - \mu_2)$ 以及 $\Sigma_{1|2} = \Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}$ 的公式名称，如果看官知晓其名称，望告知不才，感激不尽。最后，还是忘记了矩阵求导