二项分布

本文始发于个人公众号： TechFlow 这一讲当中我们来探讨三种经典的概率分布，分别是伯努利分布、二项分布以及多项分布。 在我们正式开始之前，我们先来明确一个概念，我们这里说的分布究竟是什么？ 无论是在理论还是实际的实验当中，一个事件都有可能有若干个结果。每一个结果可能出现也可能不出现，对于每个事件而言出现的可能性就是概率。而分布，就是衡量一个概率有多大。 伯努利分布 明确了分布的概念之后，我们先从最简单的伯努利分布开始。 伯努利分布非常简单，就是假设一个事件只有发生或者不发生两种可能，并且这两种可能是固定不变的。那么，显然，如果假设它发生的概率是p，那么它不发生的概率就是1-p。这就是伯努利分布。 生活中所有只可能出现两种结果并且概率保持不变的事件都可以认为服从伯努利分布，比如抛硬币，比如生孩子是男孩还是女孩。 伯努利实验就是做一次服从伯努利概率分布的事件，它发生的可能性是p，不发生的可能性是1-p。 二项分布 我们明确了伯努利分布之后再来看二项分布就简单了。说白了二项分布其实就是多次伯努利分布实验的概率分布。 以抛硬币举例，在抛硬币事件当中，每一次抛硬币的结果是独立的，并且每次抛硬币正面朝上的概率是恒定的，所以单次抛硬币符合伯努利分布。我们假设硬币正面朝上的概率是p，忽略中间朝上的情况，那么反面朝上的概率是q=(1-p)。我们重复抛n次硬币，其中有k项正面朝上的事件

首先二项分布和多项分布都是离散型分布 一 、二项式分布 （一）二项分布的基本概念 首先说一下 伯努利试验 ，即n次独立重复试验，是在同样的条件下重复、相互独立进行的一种随机试验。 伯努利试验的特点是： （1）每次试验中事件只有两种结果：事件发生或者不发生，如硬币正面或反面，患病或没患病； （2）每次试验中事件发生的概率是相同的，注意不一定是0.5； （3）n次试验的事件相互之间独立。 举个实例，最简单的抛硬币试验就是伯努利试验，在一次试验中硬币要么正面朝上，要么反面朝上，每次正面朝上的概率都一样p=0.5，且每次抛硬币的事件相互独立，即每次正面朝上的概率不受其他试验的影响。 如果独立重复抛n=10次硬币，正面朝上的次数k可能为0,1,2,3,4,5,6,7,8,9,10中的任何一个，那么k显然是一个随机变量，这里就称随机变量k服从二项分布。 我们推导下随机变量X=k的分布律。显然0<=k<=n，n次抛硬币中获得k次正面，第1次正面在n次抛硬币中出现有n种方式，则第2次正面在n次抛硬币中出现有n-1种方式，以此类推，则出现的总可能方式是：n(n-1)...(n-k+1)种，如果我们并不考虑这k次正面出现的排列顺序，因此恰好出现k次的总可能性是n(n-1)...(n-k+1)/k！种，分子和分母同时乘以(n-k)！，则该式等于n！/(k！*(n-k)！)，也就是通常的组合公式C(n,k

在机器学习领域中，概率模型是一个常用的利器。用它来对问题进行建模，有几点好处：1）当给定参数分布的假设空间后，可以通过很严格的数学推导，得到模型的似然分布，这样模型可以有很好的概率解释；2）可以利用现有的EM算法或者Variational method来学习。通常为了方便推导参数的后验分布，会假设参数的先验分布是似然的某个共轭分布，这样后验分布和先验分布具有相同的形式，这对于建模过程中的数学推导可以大大的简化，保证最后的形式是tractable。 在概率模型中，Dirichlet这个词出现的频率非常的高。初始机器学习的同学或者说得再广一些，在学习概率模型的时候，很多同学都不清楚为啥一个表现形式如此奇怪的分布Dirichlet分布会出现在我们的教科书中，它是靠啥关系攀上了多项分布（Multinomial distribution）这个亲戚的，以至于它可以“堂而皇之”地扼杀我大天朝这么多数学家和科学家梦想的？为了引出背后这层关系，我们需要先介绍一个概念—— 共轭先验（Conjugate Prior） 。 Conjugate Prior: In Bayesian probability theory, if the posterior distributions p(θ|x) are in the same family as the prior probability

1. 二项分布与beta分布对应　　 2. 多项分布与狄利克雷分布对应 3. 二项分布是什么？n次bernuli试验服从 二项分布 二项分布是N次重复bernuli试验结果的分布。 bernuli实验是什么？做一次抛硬币实验，该试验结果只有2种情况，x= 1, 表示正面。 x=0，表示反面。 bernuli(x|p) = p^x*(1-p)^(1-x)。如果了n次， 我们只要数一下 正面的次数n_x ，即可得到反面的次数n-n_x。 n次重复的nernuli试验： n-bernuli（n_x|N,p） = p^n_x*(1-p)^(n-n_x)， （忽略前边的组合系数） 2.13. 多项分布是什么？是k维的贝努力试验。n次抛骰子试验服从多项试验。 multi（n_x|p，N） =pi（p^n_k）, 每个骰子上的编号都是一个贝努力试验结果。 n_x, p都是一个向量。 表示，比如我们 想知道编号1出现2ci， 标号2出现5次， 3出现2次，4出现4次， 5出现3次，6出现2次的概率 ： n_x = [2,5,2,4,3,3, 对应的概率分别是p=[0,1, 0,3 0.1, 0..2, 0.15, 0.15] 4. 贝叶斯学派： 贝叶斯全概率公式： P(u|x) = P(X|u)*P(u). 贝叶斯公式右边的P(X|u)也称为似然分布, 先验分布是P(u) 先验和后验是同一分布时

　　　　文本主题模型之LDA(一) LDA基础 　　　　 文本主题模型之LDA(二) LDA求解之Gibbs采样算法 　　　　 文本主题模型之LDA(三) LDA求解之变分推断EM算法 　　　　在前面我们讲到了基于矩阵分解的LSI和NMF主题模型，这里我们开始讨论被广泛使用的主题模型：隐含狄利克雷分布(Latent Dirichlet Allocation，以下简称LDA)。注意机器学习还有一个LDA，即线性判别分析，主要是用于降维和分类的，如果大家需要了解这个LDA的信息，参看之前写的 线性判别分析LDA原理总结 。文本关注于隐含狄利克雷分布对应的LDA。 1. LDA贝叶斯模型 　　　　LDA是基于贝叶斯模型的，涉及到贝叶斯模型离不开“先验分布”，“数据（似然）”和"后验分布"三块。在 朴素贝叶斯算法原理小结 中我们也已经讲到了这套贝叶斯理论。在贝叶斯学派这里： 先验分布 + 数据（似然）= 后验分布 　　　　这点其实很好理解，因为这符合我们人的思维方式，比如你对好人和坏人的认知，先验分布为：100个好人和100个的坏人，即你认为好人坏人各占一半，现在你被2个好人（数据）帮助了和1个坏人骗了，于是你得到了新的后验分布为：102个好人和101个的坏人。现在你的后验分布里面认为好人比坏人多了。这个后验分布接着又变成你的新的先验分布，当你被1个好人（数据）帮助了和3个坏人（数据

目录 常见的分布 1. 0-1分布 2. 几何分布 3. 二项分布 4. 泊松分布 泊松分布与二项分布 5. 超几何分布 6. 均匀分布 7. 指数分布 8. 正太分布 常见的分布 参考: https://www.cnblogs.com/pinking/p/7898313.html 1. 0-1分布 概率函数为: \[P\{X=k\}=p^k(1-p)^k\] , 其中k取0或者1. 只有两种结果 试验只做一次 2. 几何分布 \(P(A)=p\) , 第 \(k\) 次首次发生,前 \(k-1\) 次未发生,概率函数为: \[P\{X=k\}=p^k(1-p)^{k-1}\] 3. 二项分布 \(P(A)=p\) , \(n\) 次试验, 发生了 \(k\) 次, 概率函数为: \[P\{X=k\}=C_n^kp^k(1-p)^{n-k}\] 二项分布最可能的值 $如果(n+1)p为整数 , 那么最可能的值就是(n+1)p , (n+1)p-1 $ \(如果(n+1)p不为整数 , 那么最可能的值就是[(n+1)p] 取整.\) 4. 泊松分布 概率函数为: \[P\{X=k\}=\frac{\lambda^k}{k!}e^{-\lambda}, 其中\lambda >0, k=0,1,2,3,4,....\] 泊松分布的参数 \(λ\) 是单位时间(或单位面积

首先我们需要搞清楚几个概念：概率函数、概率分布、概率密度 我这里只做简单阐述，意在理解概念，可能不严谨。 我们知道变量可分为离散随机变量和连续随机变量； 概率函数 ：随机变量取某个值的概率 pi=P(X=ai)(i=1,2,3,4,5,6)；以骰子为例，每次摇骰子取值为 1-6，取每个数字的概率为 1/6，这就是离散概率函数； pi=P(X<170)；以身高为例，小于 170 的概率，这就是连续概率函数 描述了取某个值或者某一个区间的概率 概率分布 ：也叫累积概率函数，随机变量取某些值的概率，也就是取这些值的概率的累加和 pi=P(X=[1, 2]) pi=P(X<170 and X>165) 描述了取某些值或某些区间的概率 概率密度 ：它 只针对连续型随机变量 ，连续型随机变量的概率函数也叫概率密度 数学上用如下公式表示概率密度 可以看到 X 的取值是连续的，P 是一个积分 F(x) 左图表示连续型随机变量的概率分布；f(x) 右图表示连续型随机变量的概率密度； f(x) 是 F(x) 的导数 均匀分布 应该说是最简单的分布，它是指在一个取值范围内取到每个值的概率相等； 对于离散型随机变量， 概率函数 为 P(X)=1/a-b　　a<b 代表取值范围 对于连续型随机变量，就是可以等概率地取 a b 之间的任一个数 期望：u=(a+b)/2；方差：var=(a-b) 2 /12

概率分布与马尔科夫链的关系讨论2018年6月24日 22:38Copyright ? 2018 Lucas Yu 小编原创，任何形式传播（转载或复制），请注明出处，谢谢！ 摘要： 本文主要讨论使用一个简单的例子，采用实证的方式来讨论一般概率分布与马尔科夫链的关系，将二者联系起来。读者有一定概率论和随机过程基础会对理解有帮助。涉及内容包括：伯努利分布、伯努利过程以及马尔科夫链等。 本文的研究方法步骤：先确定研究单元（研究对象，它决定了研究的粒度和层级），然后才去讨论其相关性质。对象域确定很重要，以便明确目标，就像物体运动的研究不会去讨论物体的化学性质一样；论证方式采用层层递进论证（由粒度决定），并争取从多角度讨论。 素材：先上一段代码，供后面使用，使用时解释。 基本概念 伯努利分布：又名两点分布或者0-1分布，是一个离散型概率分布。若伯努利试验成功，则伯努利随机变量取值为1；若伯努利试验失败，则伯努利随机变量取值为0。记其成功概率为p，则失败概率为 1 ? p。 （baidu 2018） 伯努利过程：是一个由有限个或无限个的独立随机变量 X1, X2, X3 ,..., 所组成的离散时间随机过程，其中 X1, X2, X3 ,..., 满足如下条件： 对每个 i, Xi 等于 0 或 1; 对每个 i, Xi = 1 的概率等于 p. 换言之，伯努利过程是一列独立同分布的伯努利试验

https://blog.csdn.net/xiaodongxiexie/article/details/72084900 来源：博客园 作者： 古来圣贤皆寂寞 链接：https://www.cnblogs.com/klausage/p/11446679.html

一、功能 产生二项式分布的随机数。 二、方法简介 二项式分布的概率密度函数为 \[ f(x)=C_{n}^{x}p^{x}(1-p)^{n-x} \qquad x \in \left \{ 0,1,...,n \right \} \] 用 \(Bin(n,p)\) 表示。二项式分布的均值为 \(np\) ，方差为 \(np(1-p)\) 。当 \(n=1\) 时， \(Bin(n,p)\) 就是贝努利分布 \(BN(p)\) 。 若 \(y_i(i=1,2,...,n)\) 是独立同分布（IID）的参数为 \(p\) 的贝努利分布随机变量，则 \(x=\sum_{i=1}^{m}y_{i}\) 服从二项分布 \(Bin(n,p)\) 。因此，产生二项分布随机变量 \(x\) 的具体算法如下： 产生IID贝努利分布的随机数 \(y_1,y_2,...,y_n\) ，即 \(y_i \sim BN(p)\) ； 计算 \(x=\sum_{i=1}^{m}y_{i}\) 。 三、使用说明 是用C语言实现产生二项分布随机数的方法如下： /************************************ n ---二项分布分布参数n p ---二项分布分布参数p s ---随机数种子 ************************************/ #include "bn