指数分布

1、随机变量 服从复高斯分布，即 ，则 服从指数分布，即 。 的密度函数可以记作 ， 的分布函数可以记作 。 2、在通信求中断概率的过程中，可能会遇到 的形式，其中 为两个服从指数分布的随机变量， 为常数，则计算方法如下： 来源： CSDN 作者： 爱吃丸子的飞 链接： https://blog.csdn.net/qq_40016690/article/details/104692934

本文只在 博客 基础上，在 三、指数分布族 中有所改动。 逻辑回归作为被广泛使用的二分类模型，面试中自然是不可缺少的。但要深刻理解逻辑回归又不是那么容易的，比如说，逻辑回归输出的值是0到1之间的值，这个值是真实的概率吗？逻辑回归为什么要选择sigmoid函数的形式，而不是其他将数值映射到0到1之间的形式？本文试图给出一个尽可能简单明了的分析。 一、从一个例子开始 假设你在一家金融公司工作，老板交给你一个任务，建一个模型，用来预测一个借款人是否会违约，公司拥有一个借款人的特征数据，比如年龄。 将是否违约作为标签变量y，0表示没有违约，1表示违约。在给定特征x的情况下， 我们假设 y 是一个服从伯努利分布的二值随机变量。注意，这是我们做的第一个假设哦！从某种意义上讲，模型准不准，首先要看假设合不合理。 我们的任务用数学语言描述就是，寻找一个模型，输入x后，可以告诉我们y所服从的随机分布的参数，知道参数后，就可以计算y的期望作为预测。 具体到违约预测，上面所说的随机分布就是指伯努利分布，该分布的参数就是Φ=P(y=1)，同时也是该分布的期望。 请认真体会一下我们的思路： 1、对每一个确定的x，y仍然是一个随机变量 2、该随机变量服从某个随机分布 3、努力求出这个随机分布的参数 4、求出该随机分布的期望 5、将期望作为预测值 二、从更高的层次看待伯努利分布 那么

前面的文章已经介绍了一个回归和一个分类的例子。在 逻辑回归 模型中我们假设： 在分类问题中我们假设： 他们都是广义线性模型中的一个例子，在理解广义线性模型之前需要先理解指数分布族。 指数分布族（The Exponential Family） 如果一个分布可以用如下公式表达，那么这个分布就属于指数分布族： 公式中y是随机变量；h(x)称为基础度量值（base measure）； η称为分布的自然参数（natural parameter），也称为标准参数（canonical parameter）； T(y)称为充分统计量，通常T(y)=y； a(η)称为对数分割函数（log partition function）； 本质上是一个归一化常数，确保 概率和为1。 当T(y)被固定时，a(η)、b(y)就定义了一个以η为参数的一个指数分布。我们变化η就得到这个分布的不同分布。 伯努利分布属于指数分布族。伯努利分布均值为φ，写为Bernoulli(φ)，是一个二值分布，y ∈ {0, 1}。所以p(y = 1; φ) = φ; p(y = 0; φ) = 1 − φ。当我们变化φ就得到了不同均值的伯努利分布。伯努利分布表达式转化为指数分布族表达式过程如下： 其中， 再举一个高斯分布的例子，高斯分布也属于指数分布族。由高斯分布可以推导出线性模型（推导过程将在EM算法中讲解）

转自：http://www.cnblogs.com/BYRans/ 多分类问题 在一个多分类问题中，因变量y有k个取值，即 。例如在邮件分类问题中，我们要把邮件分为垃圾邮件、个人邮件、工作邮件3类，目标值y是一个有3个取值的离散值。这是一个多分类问题，二分类模型在这里不太适用。 多分类问题符合 多项分布 。有许多算法可用于解决多分类问题，像决策树、朴素贝叶斯等。这篇文章主要讲解多分类算法中的 Softmax回归（Softmax Regression) 推导思路为：首先证明多项分布属于指数分布族，这样就可以使用广义线性模型来拟合这个多项分布，由广义线性模型推导出的目标函数 即为Softmax回归的分类模型。 证明多项分布属于指数分布族 多分类模型的输出结果为该样本属于k个类别的概率，从这k个概率中我们选择最优的概率对应的类别（通常选概率最大的类别），作为该样本的预测类别。这k个概率用k个变量 ， …， 表示。这个k变量和为1，即满足： 可以用前k-1个变量来表示，即： 使用 广义线性模型 拟合这个多分类问题，首先要验证这个多项分布是否符合一个指数分布族。定义T(y)为： 在这里，统计分量T(y)并没有像之前那样定义为T(y)=y，因为T(y)不是一个数值，而是一个k-1维的向量。使用符号 表示向量T(y)的第i个元素。 在这里引入一个新符号： ，如果括号内为true则这个符号取1