多元高斯分布的MLE、贝叶斯条件概率和线性判别分析LDA的生成方法总结

Gaussian model

给出 d$d$ 维随机向量(pattern) x$x$ ，即随机变量 {x1,x2,...,xn}$\{x_1,x_2,...,x_n\}$ 其高斯分布表示：

q(x;μ,∑)=1(2π)d2det(∑)12exp(12(xμ)T∑1(xμ))(1)$$\begin{array}{}\text{(1)}& q(x;\mu ,\mathrm{\sum })=\frac{1}{(2\pi {)}^{\frac{d}{2}}det(\mathrm{\sum }{)}^{\frac{1}{2}}}\exp (\frac{1}{2}(x\mu {)}^T{\mathrm{\sum }}^1\left(x\mu )\right)\end{array}$$

其中 μ$\mu$ 是 d$d$ 维度的列向量代表期望(expectation)，∑$\mathrm{\sum }$ 是 d×d$d\times d$ 的协方差矩阵(variance-covariance matrix),即：

μ=E[x]=∫xq(x;μ,∑)dx(2)$$\begin{array}{}\text{(2)}& \mu =E\left[x\right]=\int xq(x;\mu ,\mathrm{\sum })dx\end{array}$$

∑=V[x]=∫(xμ)(xμ)Tq(x;μ,∑)dx(3)$$\begin{array}{}\text{(3)}& \mathrm{\sum }=V\left[x\right]=\int (x\mu )(x\mu {)}^{T}q(x;\mu ,\mathrm{\sum })dx\end{array}$$

假设n$n$ 个样本之间i.i.d.$i.i.d.$ ,则高斯分布的对数似然(log-likelihood)是：

logL(μ,∑)=ndlog2π2nlog(det(∑))212∑i=1n(xiμ)T∑1(xiμ)(4)$$\begin{gathered} \begin{array}{}\text{(4)}& logL(\mu ,\mathrm{\sum })=\frac{nd\log 2\pi }{2}\frac{n\log (det(\mathrm{\sum }))}{2} \\ \frac{1}{2}\sum _{i=1}^n(x_i\mu {)}^T{\mathrm{\sum }}^1(x_i\mu )\end{array} \end{gathered}$$

由(4)求偏导得到似然方程：

logLμ=n∑1μ+∑1∑i=1nxi(5)$$\begin{array}{}\text{(5)}& \frac{\mathrm{}\log L}{\mathrm{}\mu }=n{\mathrm{\sum }}^1\mu +{\mathrm{\sum }}^1\sum _{i=1}^n{x}_i\end{array}$$

logL∑=n2∑1+12∑1(∑i=1n(xiμ)(xiμ)T)∑1(6)$$\begin{array}{}\text{(6)}& \frac{\mathrm{}\log L}{\mathrm{}\mathrm{\sum }}=\frac{n}{2}{\mathrm{\sum }}^1+\frac{1}{2}{\mathrm{\sum }}^1\left(\sum _{i=1}^n(x_i\mu )(x_i\mu {)}^T\right){\mathrm{\sum }}^1\end{array}$$

令(5)和(6)为0，得最大似然估计(maximum likelihood estimator)如下：

μ^ML=1n∑i=1mxi(7)$$\begin{array}{}\text{(7)}& {\hat{\mu }}_{ML}=\frac{1}{n}\sum _{i=1}^m{x}_i\end{array}$$

∑^ML=1n∑i=1n(xiμ^ML)(xiμ^ML)T(8)$$\begin{array}{}\text{(8)}& {\hat{\mathrm{\sum }}}_{ML}=\frac{1}{n}\sum _{i=1}^n(x_i{\hat{\mu }}_{ML})(x_i{\hat{\mu }}_{ML}{)}^T\end{array}$$

这里(7)和(8)分别对应于样本均值和样本协方差矩阵，并假设有足够多的训练样本(training smaples)，所以 ∑^ML${\hat{\mathrm{\sum }}}_{ML}$ 是可逆的(invertible).

• 注释：这里的样本协方差矩阵是有偏的，为什么，见这里

• 注释：协方差代表的意义是什么?这里

---

• 做假设：随机变量 {x1,x2,...,xn}$\{x_1,x_2,...,x_n\}$ 之间相互独立，则有相关系数p=0$p=0$ (这里相关系数为0是两变量独立的必要非充分条件。相关系数反映的是两变量间的线性关系，但是变量间除了线性关系还有其它关系，这时候相关系数就不能作为一种度量了。)，则协方差矩阵为：
  
  ∑= diag((σ(1))2,...,(σ(d))2)(9)$$\begin{array}{}\text{(9)}& \mathrm{\sum }=diag\left(({\sigma }^{(1)}{)}^2,...,({\sigma }^{(d)}{)}^2\right)\end{array}$$

得到第j$j$ 个标准差的ML：

σ^(j)ML=1n∑i=1n(x(j)iμ(j)i)2√(10)$$\begin{array}{}\text{(10)}& {\hat{\sigma }}_{ML}^{(j)}=\sqrt{\frac{1}{n}\sum _{i=1}^n(x_i^{(j)}{\mu }_i^{(j)}{)}^2}\end{array}$$

• 在进一步假设n$n$个变量的方差都一样的是 σ2${\sigma }^2$ ,得到协方差矩阵为：
  

  σ^ML=1nd∑i=1n(xiμ)T(xiμ)√=1d∑j=1d(σ^(j)ML)2(11)$$\begin{array}{}\text{(11)}& {\hat{\sigma }}_{ML}=\sqrt{\frac{1}{nd}\sum _{i=1}^n(x_i\mu {)}^T(x_i\mu )}=\sqrt{\frac{1}{d}\sum _{j=1}^d{\left({\hat{\sigma }}_{ML}^{(j)}\right)}^2}\end{array}$$
  • 这里的 1nd$\frac{1}{nd}$ 是表示除以n$n$个样本之后剩下的是 d$d$ 个随机变量协方差的和，由于都相等，所以除以d$d$ 就是样本协方差的估计。

---

Class-Posterior Probability:logp(y|x)$\log p(y|x)$ and Class-Prior Probability:p(y)$p(y)$

假设类条件(class-conditional)概率密度 p(x|y)$p(x|y)$ 服从正态分布且样本之间独立同分布，由以上的推导可以得到类条件概率密度p(x|y)$p(x|y)$ 的MLE：

μ^y=1ny∑i:yi=yxi(1)$$\begin{array}{}\text{(1)}& {\hat{\mu }}_y=\frac{1}{n_y}\sum _{i:y_i=y}{x}_i\end{array}$$

∑^y=1ny∑i:yi=yn(xiμ^y)(xiμ^y)T(2)$$\begin{array}{}\text{(2)}& {\hat{\mathrm{\sum }}}_y=\frac{1}{n_y}\sum _{i:y_i=y}^n(x_i{\hat{\mu }}_y)(x_i{\hat{\mu }}_y{)}^T\end{array}$$

其中ny$n_y$ 表示训练样本中属于类y$y$的数量，μ^y${\hat{\mu }}_y$ 和 ∑^y${\hat{\mathrm{\sum }}}_y$ 表示训练样本属于类别y$y$ 的前提下，该类训练样本的期望和协方差矩阵。

那么由贝叶斯公式：

p(y|x)=p(x|y)p(y)p(x)(3)$$\begin{array}{}\text{(3)}& p(y|x)=\frac{p(x|y)p(y)}{p(x)}\end{array}$$

推得：

logp(y|x)=logp(x|y)+logp(y)logp(x)(4)$$\begin{array}{}\text{(4)}& \log p(y|x)=\log p(x|y)+\log p(y)\log p(x)\end{array}$$

其中类别y$y$ 的先验最简单的估计就是在样本中的比值：

p^(y)=nyn(5)$$\begin{array}{}\text{(5)}& \hat{p}(y)=\frac{n_y}{n}\end{array}$$

带入公式(1)(2)(5)到(4)中得：

logp^(y|x)=12(xμ^)T∑^y(xμ^)12log(det(∑^y))+lognyn+C(6)$$\begin{array}{}\text{(6)}& \log \hat{p}(y|x)=\frac{1}{2}(x\hat{\mu }{)}^T{\hat{\mathrm{\sum }}}_y(x\hat{\mu })\frac{1}{2}\log (det({\hat{\mathrm{\sum }}}_y))+\log \frac{n_y}{n}+C\end{array}$$

这里C$C$ 是常数。

---

• Linear discriminant analysis (LDA), normal discriminant analysis (NDA), or discriminant function analysis is a generalization of Fisher’s linear discriminant.

• LDA explicitly attempts to model the difference between the classes of data. PCA on the other hand does not take into account any difference in class, and factor analysis builds the feature combinations based on differences rather than similarities

• Discriminant analysis is used when groups are known a priori (unlike in cluster analysis). Each case must have a score on one or more quantitative predictor measures, and a score on a group measure

假设训练样本 {x→,y}$\{\overrightarrow{x},y\}$ ，这里y$y$ 等于0或者1表示两个类别；LDA假设条件概率密度p(x→|y=0)$p(\overrightarrow{x}|y=0)$ 和 p(x→|y=1)$p(\overrightarrow{x}|y=1)$ 都分别服从正态分布 (μ→0,∑0)$({\overrightarrow{\mu }}_0,{\mathrm{\sum }}_0)$ 和
(μ→1,∑1)$({\overrightarrow{\mu }}_1,{\mathrm{\sum }}_1)$
,同贝叶斯里的公式(6)得到属于类别1而不是类别2的公式(类1的公式减去类0的)：

* Without any further assumptions, the resulting classifier is referred to as QDA (quadratic discriminant analysis).
* Quadratic discriminant analysis (QDA) 的定义：
- is closely related to linear discriminant analysis (LDA), where it is assumed that the measurements from each class are normally distributed. Unlike LDA however, in QDA there is no assumption that the covariance of each of the classes is identical. When the normality assumption is true, the best possible test for the hypothesis that a given measurement is from a given class is the likelihood ratio test.

LDA进一步做假设:
* Homoscedasticity: In statistics, a sequence or a vector of random variables is if all random variables in the sequence or vector have the same finite variance. This is also known as homogeneity of variance.
即随机变量都方差相同。
* Full Rank：满秩，应该是在各个类别下，随机变量之间互相不能被彼此表示，因为
- 半正定矩阵的行列式是非负的;协方差是半正定矩阵，行列式不为负。若其中一个随机变量被其他随机变量表示，则行列式为零。所以要求满秩即时类内的随机变量相互独立，这是因为行列式会作为分母成为密度函数的正则化项，即求积分为1保证密度函数的成立。
- 若对称矩阵A的每个元素均为实数，A是Hermite矩阵；所以样本中每一类的协方差矩阵都是hermite矩阵。埃尔米特矩阵是正规矩阵，因此埃尔米特矩阵可被酉对角化，而且得到的对角阵的元素都是实数。这意味着埃尔米特矩阵的特征值都是实的，而且不同的特征值所对应的特征向量相互正交，因此可以在这些特征向量中找出一组C的正交基。

有

得到

w→x→>c$$\overrightarrow{w}\overrightarrow{x}>c$$

其中