概率计算

本文始发于个人公众号： TechFlow 这一讲当中我们来探讨三种经典的概率分布，分别是伯努利分布、二项分布以及多项分布。 在我们正式开始之前，我们先来明确一个概念，我们这里说的分布究竟是什么？ 无论是在理论还是实际的实验当中，一个事件都有可能有若干个结果。每一个结果可能出现也可能不出现，对于每个事件而言出现的可能性就是概率。而分布，就是衡量一个概率有多大。 伯努利分布 明确了分布的概念之后，我们先从最简单的伯努利分布开始。 伯努利分布非常简单，就是假设一个事件只有发生或者不发生两种可能，并且这两种可能是固定不变的。那么，显然，如果假设它发生的概率是p，那么它不发生的概率就是1-p。这就是伯努利分布。 生活中所有只可能出现两种结果并且概率保持不变的事件都可以认为服从伯努利分布，比如抛硬币，比如生孩子是男孩还是女孩。 伯努利实验就是做一次服从伯努利概率分布的事件，它发生的可能性是p，不发生的可能性是1-p。 二项分布 我们明确了伯努利分布之后再来看二项分布就简单了。说白了二项分布其实就是多次伯努利分布实验的概率分布。 以抛硬币举例，在抛硬币事件当中，每一次抛硬币的结果是独立的，并且每次抛硬币正面朝上的概率是恒定的，所以单次抛硬币符合伯努利分布。我们假设硬币正面朝上的概率是p，忽略中间朝上的情况，那么反面朝上的概率是q=(1-p)。我们重复抛n次硬币，其中有k项正面朝上的事件

策树法(Decision Tree） [ 编辑 ] 什么是决策树？ 　　 决策树(decision tree) 一般都是自上而下的来生成的。每个 决策 或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。 　　决策树就是将决策过程各个阶段之间的结构绘制成一张箭线图，我们可以用下图来表示。 　　 　　选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。 　　从根到叶子节点都有一条路径，这条路径就是一条“规则”。 　　决策树可以是二叉的，也可以是多叉的。 　　对每个节点的衡量： 　　1) 通过该节点的记录数 　　2) 如果是叶子节点的话，分类的路径 　　3) 对叶子节点正确分类的 比例 　　有些规则的效果可以比其他的一些规则要好。 [ 编辑 ] 决策树的构成要素 [1] 　　决策树的构成有四个要素：(1)决策结点；(2)方案枝；(3)状态结点；(4)概率枝。如图所示： 　　 　　总之，决策树一般由方块结点、圆形结点、方案枝、概率枝等组成，方块结点称为决策结点，由结点引出若干条细支，每条细支代表一个方案， 称为方案枝；圆形结点称为状态结点，由状态结点引出若干条细支，表示不同的自然状态，称为概率枝。每条概率枝代表一种自然状态。在每条细枝上标明客观状态 的内容和其出现概率

进行科学的决策是项目评估工作中的主要目的之一。科学的决策方法就是对比判断，亦即对拟建项目的备选方案进行比选。但是，决策存在一定的风险性，项目评估工作中的大量决策基本是属于风险型决策。 概率分析为在风险条件下决定方案取舍的方法，决策树分析也是常用的风险决策方法之一。 所谓决策树分析，就是利用概率分析原理，用树状图描述备选方案的内容、参数、状态以及在实施过程中不同阶段方案的相互关系，对方案进行系统分析和评估的方法。应用决策树分析法不仅能进行单阶段决策，而且对多阶段决策也是行之有效的。 一、决策树的结构 决策树是以方框和圆圈为结点，并有直线连接而成的一种像树形状的图形，它是由以下几个因素构成： （一）决策点与方案枝 某项决策的出发点，称为决策点，用方框"口"表示。方框内可用符号表示其为第几级决策点。 某项决策应有若干可供选择的方案，用从决策点引出的若干条直线“—”表示，叫做方案枝。在方案枝的上下侧可注明方案的含义及参数。 （二）状态结点与状态枝 方案在实施过程中由于存在风险性与不确定性，可能出现多种机会或状态，方案在各种自然状态下所能获得的结果(如收益或成本)用圆圈“○”表示，称为状态结点或机会点。 每一方案可能出现的各种状态用由状态结点引出的若干条线"—"表示，称为状态枝。各种状态的代号与概率等参数可标在状态上下侧，故又称其为概率枝。 （三）结果点与损益现值

今天开始学Pattern Recognition and Machine Learning (PRML)，章节1.2，Probability Theory （下） 今天把1.2写完，这一节讲了很多重要的基础内容。 1.2.3 贝叶斯概率 这一节的上半部分，我们结合一个盒子-水果抽取的问题，从随机可重复事件频率的角度理解了概率，这是经典的一种通过频率来理解概率的角度，接下来我们用贝叶斯角度来理解概率，重点关注不确定性。 有些事件称之为不确定事件，比如月亮是不是曾经围绕太阳旋转，北极的冰是否会在一百年后消失，这些事件都没办法通过重复事件来确定概率。但是我们可以通过其他一些手段来得到一些结果，比如我们可以通过观察每年冰层的消融比率来确定是否有可能消失。当然，人们会通过这些结果来指导未来的活动（decision），比如减少温室气体的排放，通过这些行为，我们需要重新评估冰层消失的可能。这里引出了从贝叶斯角度看概率。 在模式识别领域，我们需要一种更通用的关于概率的表达。1.1节中提到多项式拟合问题，我们当然可以很自然的用训练集的频率来代表随机变量tn(target value)的概率，但是对于估计正确参数w来说，我们更应该用不确定性来理解，从贝叶斯角度来解释概率论中的不确定性，用于模型参数估计以及模型的选择。 假设在观察数据之前，我们有一个关于w的先验p(w)，那么根据w我们观察到数据集D：

Erlang B型公式计算呼损概率 背景 公式 MATLAB实现 背景 原由来源于和师兄的对话，如下图。28个人共用4部电话️，与7个人共用1部电话️相比，电话的利用率提高了多少？或每个人能够顺利用上电话的概率提高了多少？每个人平均3小时用1次电话，每次用时5分钟。对于该问题我们把它转化为呼叫损失概率的计算问题。 公式 Erlang B型公适用于M/M/m/m排队系统计算呼叫损失概率，公式参考文献[1]. MATLAB实现 %效率比较-wdl-2020-1-9 %利用爱尔朗B型公式—计算无等待呼叫损失率 % 参考文献 Guoping Zhang,two common properties of the Erlang-B fuction Erlang-C function and % Engset blocking function,2003 % lamda 总体业务到达率 % mu 队列服务速率 % m 队列的数量 % a =lamda/mu % B(a,m)=a^(m)/factorial(m)/(a^(i)/factorial(i),i从0到m的累加和) % 每个人的业务到达率 lamda=1/3;%单位 次/小时 假设每人呼叫业务相互独立 mu=1*60/5;%电话服务速率 1hour/5min %Scene1 28人4部电话 m=4;%电话数量 users=28;

　　原文 | https://mp.weixin.qq.com/s/gF0aTunuxIFAffATab-v4w 　　我买双色球已经好多年了，一直相信“只要集齐七个球，就能大富大贵”，但这么多年过去了，愿望依旧没有达成。最近一期的双球又一次白白捐献了2块钱。长期来看，到底是赔钱还赚钱？如果有一天赚钱了，能否抵得过我的投入？ 　　 　　双色球由红球和蓝球两部份组成，红球是由01到33个号码中选择，蓝球是由01到16个号码中选择。每次开奖在红色球中随机摇出六个红号,在蓝球中随机摇出一个蓝号，下面是中奖条件和奖金： 　　直观上，中5块看起来比较容易，只要蓝色球号猜中就行，但实际上概率仅有6.25%，至于一等奖就更困难了。 中奖的概率 　　先来复习一下不放回抽样。 　　引例：设一批产品共有N个，其中有M个次品。每次从这批产品中随机地抽出一件来检查，检查后不放回，共取n次(相当于一次同时取n件产品)，试求在n次检查中有k次是次品的概率Pk。 　　从N件产品中抽取n件共有 种不同的取法，现要求在抽取的一组n件产品中，有k件次品和n-k件合格品。因为这k件次品有 种不同的取法，n-k件合格品有 种不同的取法，因此最后的结果是： 　　 　　现在来看双色球的中奖概率。 　　对于红球来说，开奖号码是排序的，既然中奖的规则只和彩票中是否有开奖号码有关，与彩票上的号码顺序无关，那么我们不妨让出票智能一点

文章目录 引言 证明 举例 结论 附：所使用的代码 引言 昨天有别人有一个关于墨菲定律的争论，对方说墨菲定律是伪科学，我一时也没有找到相应的定理，于是我就用数学简单证明一下。 首先，我们要知道什么是墨菲定律。墨菲定律（Murphy’s Law）的基本思想是小概述事件一定会发生。国内因为中文翻译和个人理解的问题，这条定律的翻译和解释有很多，根据根据Wikipedia，它的原文是： Whatever can happen will happen if we make trials enough. ，即 任何事情如果有可能会发生，那么它就一定会发生，只要试验足够多次 。后来，又被简化成： If it can happen, it will happen. ，即 有可能会发生的事情一定会发生 。本来墨菲定律的意思是很清楚的，但是由于语言的问题，加之每个人的理解差异很大，在翻译成中文以后，表述的差异就很大。然后再经过人多口杂地传播，其本意已经被曲解了，比如说“如果一件事有可能被做坏，让他去做就一定会更坏。”，“你担心的事情总会发生”。 所以，墨菲定律的核心思想就一条：小概率事件一定会发生，前提是实验足够多次。下面我们就对此进行证明。 证明 根据这个表述，我们可以使用最基本的概率学知识来证明，过程如下。 证明 ：设某事件A发生的概率为 P ( A ) = p ， 其 中 0 < p < 1 P

逻辑回归 1.逻辑回归与线性回归的联系与区别 2.逻辑回归的原理 3.逻辑回归损失函数推导及优化 4.正则化与模型评估指标 5.逻辑回归的优缺点 6.样本不均匀问题解决办法 7.Sklean参数 8.代码实现 1.逻辑回归与线性回归的联系与区别 线性回归解决的是连续变量的问题，但离散性变量，在分类任务中使用线性回归，效果不理想。` 例子： 图显示了是否购买玩具和年龄之间的关系，可以用线性回归拟合成一条直线，将购买标注为1，不购买标注为0，拟合后取当0.5值为阈值来划分类别。 y ^ = { 1 , f ( x ) > 0.5 , 0 , f ( x ) < 0.5 \hat y =\begin{cases} 1, f(x)>0.5, \\\\0, f(x)<0.5\end{cases} y ^ ​ = ⎩ ⎪ ⎨ ⎪ ⎧ ​ 1 , f ( x ) > 0 . 5 , 0 , f ( x ) < 0 . 5 ​ 可以看到，在途中，年龄的区分点约为19岁。 但当数据点不平衡时，很容易影响到阈值，见以下图： 可以看到，0值样本的年龄段往高年龄端偏移后，真实的阈值依然是19岁左右，但拟合出来的曲线的阈值往后边偏移了。可以想想，负样本越多，年龄大的人越多，偏移越严重。 实际情况是60岁的老人和80岁的老人都不会购买玩具，增加几位80岁的老人，并不会影响20岁以下人群购买玩具的概率

http://cos.name/2013/01/lda-math-beta-dirichlet/#more-6953 2. 认识Beta/Dirichlet分布 2.1 魔鬼的游戏—认识Beta 分布 统计学就是猜测上帝的游戏,当然我们不总是有机会猜测上帝，运气不好的时候就得揣度魔鬼的心思。有一天你被魔鬼撒旦抓走了，撒旦说：“你们人类很聪明，而我是很仁慈的，和你玩一个游戏，赢了就可以走，否则把灵魂出卖给我。游戏的规则很简单，我有一个魔盒，上面有一个按钮，你每按一下按钮，就均匀的输出一个[0,1]之间的随机数，我现在按10下，我手上有10个数，你猜第7大的数是什么，偏离不超过0.01就算对。”你应该怎么猜呢？ 从数学的角度抽象一下，上面这个游戏其实是在说随机变量 X 1 , X 2 , ⋯ , X n ∼ i i d U n i f o r m ( 0 , 1 ) ，把这 n 个随机变量排序后得到顺序统计量 X ( 1 ) , X ( 2 ) ， ⋯ , X ( n ) , 然后问 X ( k ) 的分布是什么。 对于不喜欢数学的同学而言，估计每个概率分布都是一个恶魔，那在概率统计学中，均匀分布应该算得上是潘多拉魔盒，几乎所有重要的概率分布都可以从均匀分布 U n i f o r m ( 0 , 1 ) 中生成出来;尤其是在统计模拟中，所有统计分布的随机样本都是通过均匀分布产生的。

1.基本遗传算法 1.1遗传算法的基本思想 在求解问题时从多个解开始，然后通过一定的法则进行逐步迭代以产生新的解。 1.2遗传算法设计的基本内容 1.编码方案：怎样把优化问题的解进行编码。 2.适应度函数：怎样根据目标函数构建适应度函数。 3.选择策略：优胜劣汰。 4.控制参数：种群的规模、算法执行的最大代数、 执行不同遗传操作的概率等。 5.遗传算子：选择、交叉、变异。 6.算法终止准则：规定一个最大的演化代数，或算 法在连续多少代以后解的适应值没有改进。 1.3遗传算法的五个基本要素  参数编码  初始群体的设定  适应度函数的设计  遗传操作设计  控制参数设定 2.遗传算法的基本算法 2.1 编码 2.1.1 位串编码 一维染色体编码方法：将问题空间的参数编码为一维排列的染色体的方法。 （1）二进制编码 用若干二进制数表示一个个体，将原问题的解空间映射到位串空间 B={0，1}上，然后在位串空间上进行遗传操作。 （2）Gray编码 将二进制编码通过一个变换进行转换得到的编码。 2.1.2 实数编码 用若干实数表示一个个体，然后在实数空间上进行遗传操作。采用实数表达法不必进行数制转换，可直接在解的表现型上进行遗传操作。 2.1.3 多参数级联编码 把每个参数先进行二进 制编码得到子串，再把这些子串连成一个完整的染色体。多参数映射编码中的每个子串对应各自的编码参数，