【温故而知新】线性判别分析(Linear Discriminant Analysis)

线性判别分析(Linear Discriminant Analysis, LDA)是一种经典的线性分类方法。

LDA的基本思想：给定训练数据集，设法将样本投影到一条直线上，使得同类样本的投影点尽可能的接近，不同类样本的投影点尽可能远离；在对新来样本进行分类时，首先将其投影到直线上，再根据投影点的位置来判断样本所属的类别。即：类内小，类间大("高内聚，松耦合")

给定数据集

,在这里我们将

记为

类，

记为

类，则

,    

,

 

,    

,    

样本点在直线

上的投影：

，此处令

训练样本的均值：

训练样本的方差： 

对于 

类样本的均值：

对于 

类样本的方差：

对于 

类样本的均值：

对于 

类样本的方差：

类间：

，类内：

目标损失函数：

                 

                                     

                                     

                                     

                    

             

                   

                   

                   

     

综上可知，

                                                     

其中，

为between-class 类间方差(维度:p*p),  

为within-class 类内方差(维度:p*p)

                

               

          

       

令

可得，

             

             

 两边同时乘以

可得

             

 

             

 

             

 这里

的维度为p*1，所以

维度[1*p][p*p][p*1]，故

, 同理 

；

              

             

         

, 这里

的维度为p*1, 则

的维度为[1*p][p*1], 故

              

如果

是单位矩阵或者对角矩阵，各项同性，

,则

 

 

完，

 

 

 

 

 

 

来源：CSDN

作者：caicaiatnbu

链接：https://blog.csdn.net/caicaiatnbu/article/details/104173227