基础模型

假设一个二元分类问题特征为 $X \in \mathcal{X} \subset \mathbb{R}^d$ ，类别为 $Y \in \{0,1\}$ ，二元分类的目标是训练一个模型： $f: \mathcal{X} \to {0,1}$ 完成分类任务。因为输出是0和1，所以通常用示性函数表示 $f$
$f = I(b(X)>0)$
称 $b(X)=0$ 为这两个类别的边界。二元分类问题与二值回归有哲学上的不同，二值回归认为特征 $X$ 不具有随机性，响应 $Y$ 的随机性来源于随机误差，而二元分类问题中特征 $X$ 与响应 $Y$ 均是随机变量。

Bayes分类器

假设 $Y$ 的先验为 $Ber(\pi_1)$ ，特征的条件密度为 $X|Y=1 \sim g_1(x)$ ， $X|Y=0 \sim g_0(x)$ ，记 $\pi_0=1-\pi_1$ 。根据Bayes公式， $Y$ 的后验概率为
$P(Y=1|X) = \frac{P(Y=1,X)}{P(X)} = \frac{\pi_1g_1(x)}{\pi_0g_0(x)+\pi_1g_1(x)} \\ P(Y=0|X) = \frac{P(Y=0,X)}{P(X)} = \frac{\pi_0g_0(x)}{\pi_0g_0(x)+\pi_1g_1(x)}$
分类问题一般使用0-1损失函数，所以
$L(Y,f(X)) = I(Y \ne f(X))$
这个问题的EPE为
$R(f) = E_{X,Y} L(Y,f(X)) = E_XE_{Y|X=x} I(Y \ne f(X))$
寻找 $f$ 最小化这个函数就可以得到分类规则了。

均等成本

上一篇博文提到过，给定 $X=x$ 时，最小化内层的条件期望即可
$E_{Y|X=x} I(Y \ne f(X)) = E_{Y|X=x} \{I(Y=1,f(X)=0)+I(Y=0,f(X)=1)\} \\ = P(Y=1,f(X)=0 | X=x) + P(Y=0,f(X)=1|X=x) \\ = P(Y=1|X=x)I(f(x)=0) + P(Y=0|X=x)I(f(x)=1) \\ \ge min\{P(Y=1|X=x), P(Y=0|X=x)\}$
注意到第三行等号这个表达式其实是个凸组合，所以有那个最小值，并且当且仅当 $f(x)=I(P(Y=1|X=x)>P(Y=0|X=x))$ 取等。这个结果就给出了我们需要的分类规则，称其为Bayes分类器，它的边界为
$b(x)=P(Y=1|X=x)-P(Y=0|X=x)=0$
分类规则 $P(Y=1|X=x)>P(Y=0|X=x)$ 还有其他几种等价形式。第一种等价形式：
$P(Y=1|X=x)>P(Y=0|X=x) \\ \Longleftrightarrow \frac{\pi_1g_1(x)}{\pi_0g_0(x)+\pi_1g_1(x)} > \frac{\pi_0g_0(x)}{\pi_0g_0(x)+\pi_1g_1(x)} \Longleftrightarrow \frac{g_1(x)}{g_0(x)} > \frac{\pi_0}{\pi_1}$
第二种等价形式
$P(Y=1|X=x)>P(Y=0|X=x) \\ \Longleftrightarrow P(Y=1|X=x)>1-P(Y=1|X=x) \\ \Longleftrightarrow P(Y=1|X=x)>0.5$

不等成本

在推导 $E_{Y|X=x} I(Y \ne f(X))$ 的时候，我们把 $I(Y \ne f(X))$ 展开成了两项， $I(Y=1,f(X)=0)$ 和 $I(Y=0,f(X)=1)$ 。这两项的含义是不同的，第一项的含义是把类别1错误地分到了类别0，第二项的含义是把类别0错误地分到了类别1，均等成本时这两项对损失的贡献是均等的，若考虑不等成本，可以假设这两项对损失的贡献分别为 $C(1,0)$ 和 $C(0,1)$ 。这两个系数可以理解成错误分类的成本，举一个非常直观的例子，如果要预测的1、0两个类别分别是股价上涨或者下跌，那么 $C(1,0)$ 就代表错误地认为股价会下降造成的投资损失， $C(0,1)$ 就代表错误地认为股价会上升造成的投资损失。不等成本下的损失函数可以写成
$L(Y,f(X)) = C(1,0)I(Y=1,f(X)=0)+C(0,1)I(Y=0,f(X)=1)$
最优化的目标也就变成了
$E_{Y|X=x} I(Y \ne f(X)) = E_{Y|X=x} \{C(1,0)I(Y=1,f(X)=0)+C(0,1)I(Y=0,f(X)=1)\} \\ = C(1,0)P(Y=1,f(X)=0 | X=x) + C(0,1)P(Y=0,f(X)=1|X=x) \\ = C(1,0)P(Y=1|X=x)I(f(x)=0) + C(0,1)P(Y=0|X=x)I(f(x)=1) \\ \ge min\{C(1,0)P(Y=1|X=x), C(0,1)P(Y=0|X=x)\}$
这个推导与上面的相比只是多了一个系数而已。由此可以得到不等成本下的Bayes分类器为
$f(x)=I(C(1,0)P(Y=1|X=x)>C(0,1)P(Y=0|X=x))$
对应的第一种等价的分类规则为
$\frac{g_1(x)}{g_0(x)} > \frac{\pi_0C(0,1)}{\pi_1C(1,0)}$
对应的第二种等价的分类规则
$P(Y=1|X=x)>\frac{C(0,1)}{C(0,1)+C(1,0)}$
这两个的推导太平凡了，就不展示了。从这个推导可以看出，要计算Bayes分类器是需要知道不同类别的特征的条件分布的，然而在实际问题中这个是未知的，所以Bayes分类器只能提供一个理论上的参考，如果分类模型在样本数足够大时泛化能力趋近于Bayes分类器，就认为这个模型是非常不错的（学名叫Fisher Consistency）。由于特征的条件分布未知，所以二分类模型都是在试图添加假设以避免使用特征的条件分布来构造分类规则。

线性概率模型

这是一个最简单，效果也很差的分类模型。在回归那个系列的博文里提到过线性概率模型，直接搬到这里来用
$E(Y|X=x) =P(Y=1|X=x)= x^T \beta$
根据Bayes分类规则， $P(Y=1|X=x)= x^T \beta>0.5$ 就是类别1，所以线性分类器可以表示成
$f(x) = I(x^T \beta>0.5)$
边界为 $x^T \beta=0.5$ 。与所有的线性回归模型一样，线性分类器对变量取值特别敏感。

线性分类器

线性分类器指的是分类边界是线性方程的那种分类器，常见的线性分类器包括线性概率模型、线性对数输赢比模型（LDA和Logistics回归）、分离超平面模型（感知器模型和SVM）。这里介绍线性对数输赢比模型，它的含义是输赢比的对数关于特征是一个线性函数：
$\ln{\frac{P(Y=1|X=x)}{P(Y=0|X=x)}} = x^T \beta$
简单解释一下为什么满足这个条件的模型是线性分类器。根据线性对数输赢比假设可以解得
$P(Y=1|X=x) = \frac{\exp{(x^T \beta)}}{1 + \exp{(x^T \beta)}} \\ P(Y=0|X=x) = \frac{\exp{1}}{1 + \exp{(x^T \beta)}}$
根据Bayes分类规则，某个点被分到类别1的条件为
$P(Y=1|X=x) = \frac{\exp{(x^T \beta)}}{1 + \exp{(x^T \beta)}} >0.5 \\ \Longleftrightarrow x^T \beta >0$
因此分类边界为 $x^T \beta = 0$ ，即关于特征的线性函数。LDA通过其他假设得到线性对数输赢比的，Logistics回归直接用它作为假设。因为我回归那个系列的博文Logistics回归总结得比较详细，这里就不再重复了。

线性判别分析（LDA）

这个模型其实也是从多元统计分析那里拿过来的。假设 $X|Y_j \sim N(\mu_j,\Sigma_j)，j=0,1$ ，并且 $\Sigma_0=\Sigma_1=\Sigma$ 。这个是一个非常强的假设，它的含义也是非常直观的，考虑二元正态分布， $X$ 平面上的等概率曲线的形状是椭圆，长半轴长和短半轴长是协方差矩阵的特征值，长轴和短轴的方向则由协方差的特征向量决定，因此相同协方差矩阵假设其实是说这两个类别的数据点分布在两个平移相等的等概率椭圆中，基于这个假设的LDA其实就是在判断一个新的数据点落在哪个椭圆的概率更大。关于 $Y$ 的先验的假设不变，多元正态概率密度可以写成
$f(x|Y_j) = (2\pi)^{-d/2} |\Sigma|^{-1/2}\exp{\{-\frac{1}{2}(x-\mu_j)^T\Sigma^{-1}(x-\mu_j)\}}$
因此 $Y_j|X=x$ 的后验核为
$\pi_j \exp{\{-\frac{1}{2}(x-\mu_j)^T\Sigma^{-1}(x-\mu_j)\}}$
对数输赢比为
$\ln{\frac{P(Y=1|X=x)}{P(Y=0|X=x)}} = \ln{\frac{\pi_1 \exp{\{-\frac{1}{2}(x-\mu_1)^T\Sigma^{-1}(x-\mu_1)\}}} {\pi_0 \exp{\{-\frac{1}{2}(x-\mu_0)^T\Sigma^{-1}(x-\mu_0)\}}}} \\ = \ln \frac{\pi_1}{\pi_0} - \frac{1}{2}(\mu_0+\mu_1)^T \Sigma^{-1} (\mu_1-\mu_0) + x^T \Sigma^{-1} (\mu_1-\mu_0)$
定义
$\beta_0 = \ln \frac{\pi_1}{\pi_0} - \frac{1}{2}(\mu_0+\mu_1)^T \Sigma^{-1} (\mu_1-\mu_0) \\ \beta_1 = \Sigma^{-1} (\mu_1-\mu_0) \\ \beta = [\beta_0,\ \beta_1]^T$
假设 $x$ 包含了常数项，对数输赢比就可以写成 $x^T\beta$ 。在具体操作的时候要估计参数 $\pi_0,\pi_1,\mu_0,\mu_1,\Sigma$ ，可以用MLE来估计。考虑 $X,Y$ 的联合概率密度为
$f(x,y) = \pi_0 (2\pi)^{-d/2} |\Sigma|^{-1/2}\exp{\{-\frac{1}{2}(x-\mu_0)^T\Sigma^{-1}(x-\mu_0)\}} \\ + \pi_1 (2\pi)^{-d/2} |\Sigma|^{-1/2}\exp{\{-\frac{1}{2}(x-\mu_1)^T\Sigma^{-1}(x-\mu_1)\}}$
根据这个来做MLE可以得到
$\hat{\pi_0} = \frac{n_0}{n}, \hat{\pi_1} = \frac{n_1}{n}$
其中 $n_0,n_1$ 为两个类别的样本数， $n=n_0+n_1$ ，
$\hat{\mu}_0 = \frac{\sum_{Y_i=0} x_i}{n_0}, \hat{\mu}_1 = \frac{\sum_{Y_i=1} x_i}{n_1} \\ \hat{S}^2_0 = \frac{1}{n_0-1} \sum_{Y_i=0} (x_i-\hat{\mu}_0)(x_i-\hat{\mu}_0)^T \\ \hat{S}^2_1 = \frac{1}{n_1-1} \sum_{Y_i=1} (x_i-\hat{\mu}_1)(x_i-\hat{\mu}_1)^T \\ \hat{\Sigma} = \frac{(n_0-1)\hat{S}^2_0 + (n_1-1)\hat{S}^2_1}{n-2}$
这些估计量均是无偏估计，关于这种多元分布参数估计和假设检验的问题可以关注一下我还没开始挖坑的多元统计分析。LDA是严格依赖正态和同协方差矩阵的假设的，如果假设不成立，LDA的表现就会很一般。

Logistics回归

直接假设线性对数输赢比，那么分类器的形式就有了，接下来操心参数怎么估计就好。事实上 $Y|X=x \sim Ber(\frac{\exp{(x^T \beta)}}{1 + \exp{(x^T \beta)}})$ ，它的似然函数是
$L(\beta) = \prod_{i=1}^n (\frac{\exp{(x_i^T \beta)}}{1 + \exp{(x^T_i \beta)}})^{y_i} ( \frac{1}{1 + \exp{(x^T_i \beta)}})^{1-y_i} \\ l(\beta) = \sum_{i=1}^n \{y_i \ln{(\frac{\exp{(x_i^T \beta)}}{1 + \exp{(x^T_i \beta)}})} + (1-y_i)\ln{(\frac{1}{1 + \exp{(x^T_i \beta)}})} \} \\ = \sum_{i=1}^n \{y_i (x_i^T \beta)-\ln{(1 + \exp{(x^T_i \beta)})} \}$
据此求最大似然估计
$\frac{\partial l(\beta)}{\partial \beta} = \sum_{i=1}^n x_i(y_i -\frac{\exp{(x_i^T \beta)}}{1 + \exp{(x^T_i \beta)}} ) = 0$
这个超越方程显然是没有解的，只能用数值方法找一个近似解，常规操作是Newton-Raphson算法求这个一阶条件的近似解，用Newton-Raphson算法解优化的一阶条件的方法又叫pure Newton，可以参考我还在施工中的数值分析系列。为了用这个算法还要求Hessian，
$\frac{\partial^2 l(\beta)}{\partial \beta^2} = - \sum_{i=1}^n \frac{x_ix_i^T\exp{(x^T_i \beta)}}{(1 + \exp{(x^T_i \beta)})^2}$
所以pure Newton的递推方程为
$\beta^{new} = \beta+ \{\sum_{i=1}^n \frac{x_ix_i^T\exp{(x^T_i \beta)}}{(1 + \exp{(x^T_i \beta)})^2}\}^{-1} \sum_{i=1}^n x_i(y_i -\frac{\exp{(x_i^T \beta)}}{1 + \exp{(x^T_i \beta)}} )$
定义几个符号，
$p_i = \frac{\exp{(x_i^T \beta)}}{1 + \exp{(x^T_i \beta)}} \\ y = [y_1, \cdots,y_n]^T ,\ p = [p_1,\cdots,p_n]^T,\ W = diag(p_i(1-p_i)) \\ X = [x_1^T;\cdots;x_n^T] \in \mathbb{R}^{n \times (d+1)}$
从而
$\sum_{i=1}^n \frac{x_ix_i^T\exp{(x^T_i \beta)}}{(1 + \exp{(x^T_i \beta)})^2}=\sum_{i=1}^n x_i x_i^T p_i(1-p_i) = X^TWX \\ \sum_{i=1}^n x_i(y_i -\frac{\exp{(x_i^T \beta)}}{1 + \exp{(x^T_i \beta)}}) = X^T(y-p)$
递推方程可以用矩阵表示出来
$\beta^{new} = \beta+ \{X^TWX\}^{-1} X^T(y-p) \\ = \{X^TWX\}^{-1}(X^TWX) \beta + \{X^TWX\}^{-1}X^TWW^{-1} (y-p) \\ = \{X^TWX\}^{-1}X^TW \{X\beta + W^{-1}(y-p)\} =\{X^TWX\}^{-1}X^TWz$
其中 $z=X\beta + W^{-1}(y-p)$ ， $\beta^{new}$ 可以看成是把 $z$ 当成响应的WLS，
$\beta^{new} = \argmin_{\beta} (z-X\beta)^T W(z-X\beta)$
迭代使用WLS直到与上一次迭代的 $\beta$ 差异足够小时停止，这种方法叫IRLS（iterated reweighted least square），可以参考我还在施工中的回归那个系列的博文讲广义线性模型那一篇。相比LDA，Logistics回归需要的假设更弱，所以适用性比LDA要强。

来源：CSDN

作者：一个不愿透露姓名的孩子

链接：https://blog.csdn.net/weixin_44207974/article/details/104422773

标签

分类器

线性模型

回归模型

统计模型

线性