《机器学习》第三章 （2）

线性判别分析LDA

LDA思想：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能的接近、异类样例的投影点尽可能的远离；在对新样本进行分类的时候，将其投影到同样的一条直线，在根据投影点来确定样本的类别。

给定数据集$D=\left\{(x_i,y_i)_{i=1}^m,y_i \in \left\{ 0,1 \right\} \right\}$令$X_i、\mu_i、\sum_i$分别表示第$i\in\left\{ 0,1\right\}$类示例的集合、均值向量、协方差矩阵。
示例的集合：数据集D

均值向量$\mu_i$：
假设样本$X_i=(x_{i1},x_{i2},...,x_{ip})^T,i=(1,2,...,N)$
每个分量的平均值
$\overline x_j=\frac{1}{N}\sum_{i=1}^{N}x_{ij},j=(1,2,...,p)$,
则称$\overline x=(\overline x_1,\overline x_2,...,\overline x_p)^T$为p维随机样本的平均值向量。

协方差矩阵$\sum_i$：
设$X=(X_1,X_2,X_3,...,X_n)^T$为n维随机变量，则矩阵
$C=\begin{pmatrix} c_{11} &c_{12} &...&c_{1n}\\ c_{21} &c_{22} &...&c_{2n} \\ \vdots &\vdots &\ddots &\vdots\\ c_{n1} &c_{n2} &...&c_{nn} \end{pmatrix}$
为n维随机变量X的协方差矩阵，其中$c_{ij}=cov(X_i,X_j),i,j=1,2,\dots ,n$
例：$c_{11}=E[X_1-E(X_1)]^2$

那么，两类样本的中心在支线上的投影分别为$\omega^T\mu_0和\omega^T\mu_1$，两类样本所有点都投影到支线，则两类样本的协方差分别为$\omega^T\sum_0\omega和\omega^T\sum_1\omega$,由于支线是一维空间，所以$\omega^T\mu_0、\omega^T\mu_1、\omega^T\sum_0\omega和\omega^T\sum_1\omega$均为实数。
若要使得同类样例的投影点尽可能的接近，可以让同类样例投影点的协方差尽可能小，即$\omega^T\sum_0\omega+\omega^T\sum_1\omega$尽可能小，若要使异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大，即$||\omega^T\mu_0-\omega^T\mu_1||_2^2$（L2范数:我们用的最多的度量距离欧氏距离就是一种L2范数）尽可能大。

L2范数通常会被用来做优化目标函数的正则化项，防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

最大化目标：

$J=\frac{||\omega^T\mu_0-\omega^T\mu_1||_2^2}{\omega^T\sum_0\omega+\omega^T\sum_1\omega}=\frac{\omega^T(\mu_0-\mu_1)(\mu_0-\mu_1)^T\omega}{\omega^T(\sum_0+\sum_1)\omega}$

定义“类内散度矩阵”

$S_w=\sum_0+\sum_1=\sum\limits_{x\in X_0}(x-\mu_0)(x-\mu_0)^T+\sum\limits_{x\in X_1}(x-\mu_1)(x-\mu_1)^T$

定义“类间散度矩阵”

$S_b=(\mu_0-\mu_1)(\mu_0-\mu_1)^T$

最大化目标就可以重写为：

$J=\frac{\omega^TS_b\omega}{\omega^TS_w\omega}$

这就是LDA欲最大化的目标，即$S_b与S_w$的“广义瑞利商”

瑞利商的定义（Rayleigh quotient）：

$R(A,x)=\frac{x^HAx}{x^Hx}$

其中$x$为非零向量，而A为$n×n$的厄尔米特矩阵（$Hermitian$）矩阵，厄尔米特矩阵指的是，共轭矩阵矩阵中每一个第$i$行第$j$列的元素都与第$j$行第$i$列的元素共轭相等，即$A^H=A$,$A^H$称为$A$的共轭转置，如果矩阵中都是实数，则$A^H=A^T$。

瑞利商$R(A,x)$有一个非常重要的性质，即它的最大值等于矩阵A最大的特征值，而最小值等于矩阵A的最小的特征值，也就满足

$\lambda_{min}\leq\frac{x^HAx}{x^Hx}\leq\lambda_{max}$

广义瑞利商（generalized Rayleigh quotient）：

$R(A,B,x)=\frac{x^HAx}{x^HBx}$

其中$x$为非零向量，而A,B为$n×n$的厄尔米特矩阵（$Hermitian$）矩阵,B为正定矩阵。
令$x=B^{-\frac{1}{2}}x'$，则分母转化为:

$x^HBx=x'^H(B^{-\frac{1}{2}})^HBB^{-\frac{1}{2}}x'=x'^HB^{-\frac{1}{2}}BB^{-\frac{1}{2}}x'=x'^Hx'$

而分子转化为：

$x^HAx=x'^HB^{-\frac{1}{2}}AB^{-\frac{1}{2}}x'$ 
此时我们的$R(A,B,x)$转化为$R(A,B,x')$：

$R(A,B,x')=\frac{x'^HB^{-\frac{1}{2}}AB^{-\frac{1}{2}}x'}{x'^Hx'}$

利用瑞利商的性质，可知$R(A,B,x)$的最大值为$B^{-\frac{1}{2}}AB^{-\frac{1}{2}}$的最大特征值。

回归到：

$J=\frac{\omega^TS_b\omega}{\omega^TS_w\omega} \quad ①$

$J$最大值为$S_w^{-\frac{1}{2}}S_bS_w^{-\frac{1}{2}}$的最大特征值。
$J$的分母分子都是关于$\omega$的二次项，因此$J$的解与$\omega$的长度无关，但是与$\omega$的方向却是相关的。

不失一般性，令$\omega^TS_w\omega=c,c≠0$，则①等价于

$\max\quad\omega ^TS_b\omega\\s.t.\quad\omega^T S_w\omega=c$

拉格朗日乘子法：是一种寻找多元函数在一组约束下的极值得方法。通过引入拉格朗日乘子，可将$d$个变量与$k$个约束条件的最优化问题转化为$d+k$个变量的无约束优化问题求解。
得到$L(\omega,\lambda)=\omega ^TS_b\omega-\lambda(\omega^T S_w\omega-c)$

$\frac{\partial L(\omega,\lambda)}{\partial \omega}=(S_b^T+S_b)\omega-\lambda(S_w^T+S_w)\omega=2S_b\omega-2\lambda S_w\omega=0$

即

$S_b\omega=\lambda S_w\omega$

其中$\lambda$是拉格朗日乘子，注意刀$S_b\omega$的方向恒为$\mu_0-\mu_1,$不妨令$S_b\omega=\lambda(\mu_0-\mu_1)$，带入上式得

$\lambda(\mu_0-\mu_1)=\lambda S_w\omega\\\omega\quad=\quad S_w^{-1}(\mu_0-\mu_1)$

考虑到数值的稳定性，在实践中常常对$S_w$进行奇异值分解

奇异值分解：任意实矩阵$A\in R^{m×n}$都可以分解为

$A=U\Sigma V^T$

其中$U\in R^{m×m}$满足$U^TU=I$的m阶酉矩阵（共轭矩阵等于逆矩阵）
$V\in R(n×n)$满足$V^TV=I$的n阶酉矩阵；
$\Sigma \in R^{m×n}$是m×n的矩阵，其中$(\Sigma)_{ii}=\sigma_i$其他位置元素均为0，$\sigma_i$为非负实数且满足$\sigma_1\geq \sigma_2\geq...\geq0$

其中U的列向量$u_i\in R^m$称为A的做奇艺向量，V的列向量$v_i\in R^n$称为A的右奇异向量，$\sigma_i$称为奇异值，矩阵A的秩就等于非零奇异值个数。

例：给定一个秩为$r$的矩阵A，要求A的最优$k$秩近似矩阵$\tilde A,k\leq r$,该问题可形式化为：

$\min \limits_{\tilde A\in R^{m×m}}||A-\tilde A||_F\quad ①\\s.t.\quad rank(\tilde A)=k$

对矩阵A进行奇异值分解后，将矩阵$\Sigma$中的$r-k$个最小的奇异值置零获得矩阵$\Sigma _k$,即仅保留最大的$k$个奇异值，得到

$A_k=U_k\Sigma_kV^T_k$

就是①式的最优解，其中$U_k和V_k$是$U和V$中的前$k$列组成的矩阵。

前面将$S_w$进行奇异值分分解：

$S_w=U\Sigma V^T$

得到$\Sigma$是一个实对角矩阵，其对角线上的元素是$S_w$的奇异值，再有
$S_w^{-1}=V\Sigma^{-1}U^T$得到$S_w^{-1}$

推广

LDA在多分类任务中，假定存在N个类，其第$i$类示例数为$m_i$我们先定义全局散度矩阵$S_w$
$S_t=S_b+S_\omega=\sum_{i=1}^{m}(x_i-\mu)(x_i-\mu)^T\quad①$
其中$\mu$为所有样本的均值向量。将类内散度矩阵$S_w$重新定义为各个类别的散度矩阵之和，即

$S_w=\sum_{i=1}^NS_{w_i}\quad②$

其中$S_{w_{i}}=\sum\limits_{x\in X_i}(x-\mu_i)(x-\mu_i)^T\quad③$
由①~③就可求出
$S_b=S_t-S_\omega=\sum_{i=1}^{N}m_i(\mu_i-\mu)(\mu_i-\mu)^T$

显然在多分类LDA可以有多重实现方法：使用$S_b,S_\omega,S_t$三者中的任何两个即可。常见的一种实现是采用优化目标

$\max\limits_W\frac{tr(W^TS_bW)}{tr(W^TS_\omega W)}$

其中$W\in R^{d×(N-1)}$,$tr(·)$代表矩阵的迹。
上式就可以通过广义特征值问题求解

$S_bW=\lambda S_\omega W$

$W$的闭式解为$Sw^{-1}S^b$的$d'$个最大非零广义特征值所对应的特征向量组成的矩阵，$d'\leq N-1$

将$W$视为一个投影矩阵，则多分类LDA将样本投影到了$d'$维空间，$d'$通常远小于数据的原油属性d，于是就达到了减小样本点的维数的目的。

来源：https://blog.csdn.net/weixin_41145777/article/details/102736746