二项分布

什么是二项分布 像掷骰子一样，每次试验结果只有两个，我们可以抽象为 0 和 1，两种结果相互对立，并且相互独立（也就是这次掷骰子的结果不影响下一次的结果）。这种类型试验称作伯努利试验(Bernoulli experiment) - 在相同条件下重复并独立进行某种随机试验，该试验只呈现两种相互对立的结果：成功或者不成功，或者也可以说是，发生或者不发生。 我们进行 n 次重复的、独立的伯努利试验，每次发生/成功的概率为 p，那么这 n 次试验中成功次数为K的离散概率分布就为 二项分布。 为什么二项分布如此重要 很多业务场景都属于伯努利试验（即，结果是相对的、独立的）。比如：是否点击某个按钮，是否登录某个网站，是否进行某个购买行为。二项分布就是对这些场景的数学抽象，当我们想对这些场景进行统计分析时，必须先要了解二项分布。 来源： https://www.cnblogs.com/jason-zhou/p/12654719.html

1.离解数据与离散分布 离解数据通常是那些只能用整数表现的数据。比如某省的人口数，宇宙中单位体积内的星球个数等。 1.1统计中常见的描述离散型数据的离散分布： 1.退化分布： 一个随机变量X以概率1取某一常数，即 P{X=a}=1，则称X服从a处的退化分布。确定分布。 2. 两点分布 ： 一个随机变量只有两个可能取值, 设其分布为 P { X = x 1 } = p , P { X = x 2 } = 1 - p , 0 < p < 1， 则称 X 服从 x 1 , x 2 处参数为 p 的两点分布。 当如果 X只取 0 , 1两个值, 其概率分布为P { X = 1} = p , P { X = 0} = 1 - p , 0 < p < 1。则称 X服从参数为 p的 0 - 1分布 , 也称 X是参数为 p的伯努利随机变量. 此时EX = p , DX = p (1 - p）。【抛一枚硬币】 3.n个点上的均匀分布： 设随机变量X取n个没不同的值，且其概率分布为 P { X = x i } = 1/n,(i=1,2,3,...,n),则称X服从n个点｛x1,x2,...,xn}上的均匀分布。【抛一枚骰子】 古典概型中经常出现此类分布情形。 4. 二项分布 ：n重伯努利试验，成功k次的概率分布。 【判断是否为伯努利试验的关键是每次试验事件A的概率不变

本文只在 博客 基础上，在 三、指数分布族 中有所改动。 逻辑回归作为被广泛使用的二分类模型，面试中自然是不可缺少的。但要深刻理解逻辑回归又不是那么容易的，比如说，逻辑回归输出的值是0到1之间的值，这个值是真实的概率吗？逻辑回归为什么要选择sigmoid函数的形式，而不是其他将数值映射到0到1之间的形式？本文试图给出一个尽可能简单明了的分析。 一、从一个例子开始 假设你在一家金融公司工作，老板交给你一个任务，建一个模型，用来预测一个借款人是否会违约，公司拥有一个借款人的特征数据，比如年龄。 将是否违约作为标签变量y，0表示没有违约，1表示违约。在给定特征x的情况下， 我们假设 y 是一个服从伯努利分布的二值随机变量。注意，这是我们做的第一个假设哦！从某种意义上讲，模型准不准，首先要看假设合不合理。 我们的任务用数学语言描述就是，寻找一个模型，输入x后，可以告诉我们y所服从的随机分布的参数，知道参数后，就可以计算y的期望作为预测。 具体到违约预测，上面所说的随机分布就是指伯努利分布，该分布的参数就是Φ=P(y=1)，同时也是该分布的期望。 请认真体会一下我们的思路： 1、对每一个确定的x，y仍然是一个随机变量 2、该随机变量服从某个随机分布 3、努力求出这个随机分布的参数 4、求出该随机分布的期望 5、将期望作为预测值 二、从更高的层次看待伯努利分布 那么

定义 二项分布：P(X=k)=C n k p k (1-p)(n-k) 抛硬币，假设硬币不平整，抛出正面的概率为p，那么在n次抛硬币的实验中，出现k次正面的概率 泊松分布: p(X=k)=λ k e -λ /k! 公共汽车站在单位时间内，来乘车的乘客数为k 的概率。假定平均到站乘客数为λ 二项分布和泊松分布的关系 n很大，p很小时泊松分布可以用来近似二项分布，此时 λ=np 二者关系的直观解释： 从泊松分布说起。把单位时间分成n等分，称为n个时间窗口。那么在某个时间窗口来一个客人的概率为λ/n.(稍后解释，其实这是不对的)那么我们可以将泊松分布和二项分布对应起来：在某个时间窗口里来了乘客 对应 抛出正面硬币；来了k个客人 对应 抛出k个正面。因此，泊松分布和二项分布近似了。 问题 ：为什么n要足够大，p要足够小？ 因为在分时间窗口的时候有个假设：每个时间窗口最多只有一个乘客到达。 来源： https://www.cnblogs.com/englefly/archive/2012/05/18/2507707.html

通俗理解LDA主题模型 0 前言 印象中，最開始听说“LDA”这个名词，是缘于rickjin在2013年3月写的一个LDA科普系列，叫LDA数学八卦，我当时一直想看来着，记得还打印过一次，但不知是由于这篇文档的前序铺垫太长（ 如今才意识到这些“铺垫”都是深刻理解LDA 的基础，但假设没有人帮助刚開始学习的人提纲挈领、把握主次、理清思路，则非常easy陷入LDA的细枝末节之中 ），还是由于当中的数学推导细节太多，导致一直没有完整看完过。 2013年12月，在我组织的Machine Learning读书会 第8期 上，@夏粉_百度 讲机器学习中排序学习的理论和算法研究。@沈醉2011 则讲主题模型的理解。又一次碰到了主题模型，当时貌似仅仅记得沈博讲了一个汪峰写歌词的样例。依旧没有理解LDA究竟是怎样一个东西（但理解了LDA之后。再看沈博主题模型的 PPT 会非常赞）。 直到昨日下午。 机器学习班 第12次课上，邹讲完LDA之后，才真正明确LDA原来是那么一个东东！上完课后，趁热打铁，再次看LDA数学八卦，发现曾经看不下去的文档再看时居然一路都比較顺畅。一口气看完大部。看完大部后，思路清晰了。知道理解LDA。能够分为下述5个步骤： 一个函数：gamma函数 四个分布：二项分布、多项分布、beta分布、Dirichlet分布 一个概念和一个理念：共轭先验和贝叶斯框架 两个模型：pLSA

一、几何分布 假设某种赌博游戏的胜率为 0.2 ，那么意味着你玩第一次就胜出的概率为 0.2 。 那玩第二次才胜出呢？“玩第二次才胜出”就意味着玩 第一次是失败的 ，而直到第二次才胜出，那么这件事发生的概率就是 0.8×0.2=0.16 。 那么第三次、第四次呢？ 如果用 p 代表某件事发生的概率，则它不发生的概率为 1-p ，我们将此概率称为 q ，于是可以用下式计算任何具有这一性质的概率： 这个公式叫做概率的 几何分布 。变量 X 表示为了取得第一次成功所需进行的试验次数，为了在第 r 次试验时取得成功，首先要 先失败r-1次 。 几何分布同样适用于不等式。 P(X ＞ r) 指的是为了取得第一次成功需要试验 r 次以上的概率。为了让需要进行的试验次数大于 r ，意味着前 r 次试验必须以失败告终。也就是说，将失败概率乘上 r 次就是所求的概率： 利用这个，可以求出 P(X ≤ r) ，即为了取得一次成功而需要尝试 r 次或 r 次以下的概率： 如果一个变量 X 的概率符合几何分布，且单次试验的成功概率为 p ，则可以写作： 几何分布的期望模式 在数学期望已知的情况下，就可以得出试验在成功之前需要试验的次数的期望值。 假设 X~Geo (0.2) ，那么： 如果将 x P (X=x ）的累计总和画成图形： 将 xP (X=x) 的累计总和画成图形后，可以看出，随着 x 的变大

注 ：这两个定理可以说是概率论中最重要的两个定理。也是由于中心极限定理的存在，使得正态分布从其他众多分布中脱颖而出，成为应用最为广泛的分布。这两个定理在概率论的历史上非常重要，因此对于它们的研究也横跨了几个世纪（始于18世纪初），众多耳熟能详的大数学家都对这两个定理有自己的贡献。因此，这两个定理都不是单一的定理。不同的大数定理和中心极限定理从不同的方面对相同的问题进行了阐述，它们条件各不相同，得到的结论的强弱程度也不一样。 1. 大数定理（law of large numbers，LLN） 图1-1，伯努利（1655-1705） 大数定律可以说是整个数理统计学的一块基石，最早的大数定律由伯努利在他的著作《推测术》中提出并给出了证明。这本书出版于伯努利去世后的1713年。数理统计学中包含两类重要的问题——对概率p的检验与估计。大数定律的本质是一类极限定理，它是由概率的统计定义“频率收敛于概率”引申而来的。简单来说就是n个独立同分布的随机变量的观察值的均值$\bar{X}$依概率收敛于这些随机变量所属分布的理论均值，也就是总体均值。 举一个古典概率模型的例子：拿一个盒子，里面装有大小、质地一样的球a+b个，其中白球a个，黑球b个。这时随机地从盒子中抽出一球(意指各球有同等可能被抽出)，则“抽出的球为白球”这一事件A的概率p=a/(a+b).但是如果不知道a、b的比值，则p也不知道

　　很多场合下，我们感兴趣的试验进行了很多次，但其中成功的却发生的相当稀少。例如一个芯片的生厂商想要把生产出的芯片做一番检测后再出售。每个芯片都有一个不能正常工作的微小概率p，在数量为n的一大批芯片中，出现r个故障芯片的概率是多少？ 相关阅读 单变量微积分30——幂级数和泰勒级数 概率统计13——二项分布与多项分布 二项式的泊松近似 　　问题似乎很简单，芯片故障的概率符合二项分布X~B(n,p)，我们可以用二项分布计算出现r个故障芯片的概率： 　　实际问题是，芯片的数量很大，但故障率又是一个很小的数值，虽然二项分布提供了一个精确的概率模型，但计算起来并不容易，而且在计算时还会丢掉大量的精度。既然这样，还不如一开始就使用一个近似式计算预期的概率。 　　我们首先看看全部芯片都合格（每次试验都不成功）的概率： 　　等号两边同时取对数： 　　接下来需要利用一点无穷级数和积分的知识： 　　同时我们也知道∫dx/1-x的精确表达： 　　由此可以得到： 　　当p远远小于1，且np2远远小于1时，可以忽略p的高阶项，得到近似式： 　　n个芯片全部合格的概率约等于e-np，出现r个故障芯片的概率又是多少呢？直接计算并不容易，幸运的是，我们可以用二项分布精确表达r个和r-1个故障芯片的概率的比值： 　　当n很大时，对于少量r个故障芯片来说，n-(r-1) ≈ n；对于很小概率p来说，p/(1-p) ≈

　　很多场合下，我们感兴趣的试验进行了很多次，但其中成功的却发生的相当稀少。例如一个芯片的生厂商想要把生产出的芯片做一番检测后再出售。每个芯片都有一个不能正常工作的微小概率p，在数量为n的一大批芯片中，出现r个故障芯片的概率是多少？ 相关阅读 单变量微积分30——幂级数和泰勒级数 概率统计13——二项分布与多项分布 二项式的泊松近似 　　问题似乎很简单，芯片故障的概率符合二项分布X~B(n,p)，我们可以用二项分布计算出现r个故障芯片的概率： 　　实际问题是，芯片的数量很大，但故障率又是一个很小的数值，虽然二项分布提供了一个精确的概率模型，但计算起来并不容易，而且在计算时还会丢掉大量的精度。既然这样，还不如一开始就使用一个近似式计算预期的概率。 　　我们首先看看全部芯片都合格（每次试验都不成功）的概率： 　　等号两边同时取对数： 　　接下来需要利用一点无穷级数和积分的知识： 　　同时我们也知道∫dx/1-x的精确表达： 　　由此可以得到： 　　当p远远小于1，且np 2 远远小于1时，可以忽略p的高阶项，得到近似式： 　　n个芯片全部合格的概率约等于e -np ，出现r个故障芯片的概率又是多少呢？直接计算并不容易，幸运的是，我们可以用二项分布精确表达r个和r-1个故障芯片的概率的比值： 　　当n很大时，对于少量r个故障芯片来说，n-(r-1) ≈ n；对于很小概率p来说，p/(1

概率分布（一) 参数分布 取这个名字是因为少量的参数可以控制整个概率分布。如高斯分布，我们只需要控制其期望和方差就可以得到一个特定的概率分布。 频率学家的观点：通过最优化某些准则（如似然函数）来确定参数的具体值。 贝叶斯观点：给定观察数据，先引入参数的先验分布，然后用贝叶斯定理计算对应的后验概率分布。共轭先验(conjugate prior)使后验概率的分布函数形式与先验概率相同，极大的简化了贝叶斯分析。 参数方法与非参数方法 参数方法是假定分布为某一个具体的函数形式，然后估计其参数。非参数方法则依赖数据集的规模。非参数方法中的模型也有参数，但不是用来控制模型的参数，而是用于控制模型的复杂度。 二元变量 伯努利分布(Bernoulli distribution) 考虑一个不均匀硬币，抛掷硬币时其正面朝上的概率由参数 \(\mu \in [0,1]\) 决定，则 \(p(x=1|\mu)=\mu\) 。 伯努利分布可以表示为： \[ Bern(x|\mu)=\mu^x(1-\mu)^{1-x} \] 其期望和方差为： \[ E(x)=\mu \\ Var(x)=\mu(1-\mu) \] 对数似然函数为（ \(D\) 为数据集）： \[ \ln p(D|\mu)=\sum_{n=1}^N(x_n\ln\mu+(1-x_n)\ln(1-\mu))\\ \mu_{MLE}=\frac{m