概率计算

1.4 几何概率 我们在古典概型中，利用 “等可能性” 的概念可以计算简单的一类问题的概率。一些“有无限多结果，但又有某种可能性”的情况，可以通过几何方法来求解。 在这类问题中，试验的可能结果是某个区域 Ω \Omega Ω 中的一个点。此时，可能的结果是无限的。因此，等可能性是通过下列方式赋予意义的： 落在某区域 g g g 的概率和区域 g g g 的测度（长度，面积，体积）等成正比，且与其位置和形状无关。 因此，若以 A g A_{g} A g ​ 记“在区域 Ω \Omega Ω 中随机地取一点，而该点落在区域 g g g 中”这一事件，则其概率定义为; P ( A g ) = g 的 测 度 Ω 的 测 度 P(A_{g}) = \frac{g的测度}{\Omega 的测度} P ( A g ​ ) = Ω 的 测 度 g 的 测 度 ​ 几何概率的定义和计算与几何图形的测度密切相关。因此，所考虑的事件应当是某种可定义测度的集合：这类集合的并、交也应该有这个要求。 几何概率应具有以下性质： 对任何事件 A A A ， P ( A ) ≥ 0 P(A) \geq 0 P ( A ) ≥ 0 ; P ( Ω ) = 1 P(\Omega) = 1 P ( Ω ) = 1 ; (可列可加性) 若 A 1 , A 2 , ⋯   , A n A_{1},A_{2},\dotsb

　　很多场合下，我们感兴趣的试验进行了很多次，但其中成功的却发生的相当稀少。例如一个芯片的生厂商想要把生产出的芯片做一番检测后再出售。每个芯片都有一个不能正常工作的微小概率p，在数量为n的一大批芯片中，出现r个故障芯片的概率是多少？ 相关阅读 单变量微积分30——幂级数和泰勒级数 概率统计13——二项分布与多项分布 二项式的泊松近似 　　问题似乎很简单，芯片故障的概率符合二项分布X~B(n,p)，我们可以用二项分布计算出现r个故障芯片的概率： 　　实际问题是，芯片的数量很大，但故障率又是一个很小的数值，虽然二项分布提供了一个精确的概率模型，但计算起来并不容易，而且在计算时还会丢掉大量的精度。既然这样，还不如一开始就使用一个近似式计算预期的概率。 　　我们首先看看全部芯片都合格（每次试验都不成功）的概率： 　　等号两边同时取对数： 　　接下来需要利用一点无穷级数和积分的知识： 　　同时我们也知道∫dx/1-x的精确表达： 　　由此可以得到： 　　当p远远小于1，且np2远远小于1时，可以忽略p的高阶项，得到近似式： 　　n个芯片全部合格的概率约等于e-np，出现r个故障芯片的概率又是多少呢？直接计算并不容易，幸运的是，我们可以用二项分布精确表达r个和r-1个故障芯片的概率的比值： 　　当n很大时，对于少量r个故障芯片来说，n-(r-1) ≈ n；对于很小概率p来说，p/(1-p) ≈

　　很多场合下，我们感兴趣的试验进行了很多次，但其中成功的却发生的相当稀少。例如一个芯片的生厂商想要把生产出的芯片做一番检测后再出售。每个芯片都有一个不能正常工作的微小概率p，在数量为n的一大批芯片中，出现r个故障芯片的概率是多少？ 相关阅读 单变量微积分30——幂级数和泰勒级数 概率统计13——二项分布与多项分布 二项式的泊松近似 　　问题似乎很简单，芯片故障的概率符合二项分布X~B(n,p)，我们可以用二项分布计算出现r个故障芯片的概率： 　　实际问题是，芯片的数量很大，但故障率又是一个很小的数值，虽然二项分布提供了一个精确的概率模型，但计算起来并不容易，而且在计算时还会丢掉大量的精度。既然这样，还不如一开始就使用一个近似式计算预期的概率。 　　我们首先看看全部芯片都合格（每次试验都不成功）的概率： 　　等号两边同时取对数： 　　接下来需要利用一点无穷级数和积分的知识： 　　同时我们也知道∫dx/1-x的精确表达： 　　由此可以得到： 　　当p远远小于1，且np 2 远远小于1时，可以忽略p的高阶项，得到近似式： 　　n个芯片全部合格的概率约等于e -np ，出现r个故障芯片的概率又是多少呢？直接计算并不容易，幸运的是，我们可以用二项分布精确表达r个和r-1个故障芯片的概率的比值： 　　当n很大时，对于少量r个故障芯片来说，n-(r-1) ≈ n；对于很小概率p来说，p/(1

导语：其他事情，痛苦概率可按照此模板进行分析。这么多年来，摧残你弱小的心灵，让你痛苦不堪的莫非于考试。 ***** 我们做一下探讨，你的痛苦发生的概率到底来源于哪？现将考试科目作为全集，每个元素就是你的每个面临考试的科目。以中学教育为例，Ω={语文，数学，外国语，物理，化学，生物，地理，历史，政治}，其中每个元素发生的概率为1/9(此处1/9为你面临科目你学习具有等可能性)，记A1={语文}，A2={数学}，…，A9={政治}。现将你的痛苦发生事件记为B。那么现在知道上述集合中的元素求你已经面临的痛苦概率。可进行如下计算(此处默认BAi之间互斥，同时发生概率为0，不要钻牛角尖，为什么他们互斥，请你站在全局角度，理性分析，然后综合考虑): P(B)=P(BΩ)=P[B(A1∪…∪A2)] =P(BA1∪…∪BA9)=P(BA1)+P(BA2)+…+P(BA9) =P(A1)P(B丨A1)+…+P(B)P(B丨A9) =1/9[P(B丨A1)+…+P(B丨A9)] 此刻，面临问题就是P(B丨Ai) = ? (i=1,2,3,…,9),此处面临的问题就是每个科目使你面临的痛苦程度用概率进行描述的问题，那么可以知道0≤P≤1。 现进行如下探讨： 1、P(B丨Ai) = 0或者1，也就是说你没有痛苦(0)，或者达到极限值(1),此时P(B)=0或者1 2、若P(B丨Ai) 其中若干个取1

隐马尔科夫模型 HMM 作者：樱花猪 摘要： 本文为七月算法（ julyedu.com ） 12 月机器学习第十七次课在线笔记。 隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型 ，它用来描述一个含有隐含未知参数的马尔科夫过程 。其难点是从可观察的参数中确定该过程的隐含参数，然后利用这些参数来作进一步的分析。在早些年HMM模型被非常广泛的应用，而现在随着机器学习的发展HMM模型的应用场景越来越小然而在图像识别等领域HMM依然起着重要的作用。 引言： 隐马尔科夫模型 是马尔科夫链 的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度 分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。所以，隐马尔科夫模型 是一个双重随机过程----具有一定状态数的隐马尔科夫链 和显示随机函数集。自20世纪80年代以来，HMM被应用于语音识别 ，取得重大成功。到了90年代，HMM还被引入计算机文字识别和移动通信核心技术“多用户的检测”。HMM在生物信息科学、故障诊断等领域也开始得到应用。 本次课程以中文分子算法为实践背景基础来讲述隐马尔科夫模型。本次课程主要分享了隐马尔科夫模型的概率计算、参数估计和模拟预测等方法，结合课程上提到的实力，我们能够感受大HMM能够经久不衰的强大力量。

　　数据来自于一个不完全清楚的过程。以投掷硬币为例，严格意义上讲，我们无法预测任意一次投硬币的结果是正面还是反面，只能谈论正面或反面出现的概率。在投掷过程中有大量会影响结果的不可观测的变量，比如投掷的姿势、力度、方向，甚至风速和地面的材质都会影响结果。也许这些变量实际上是可以观测的，但我们对这些变量对结果的影响缺乏必要的认知，所以退而求其次，把投掷硬币作为一个随机过程来建模，并用概率理论对其进行分析。 　　 　　概率有时也被解释为频率或可信度，但是在日常生活中，人们讨论的概率经常包含着主观的因素，并不总是能等同于频率或可信度。比如有人分析中国足球队打进下次世界杯的概率是10%，并不是说出现的频率是10%，因为下次比赛还没有开始。我们实际上是说这个结果出现的可能性，由于是主观的，因此不同的人将给出不同的概率。 　　在数学上，概率研究的是随机现象背后的客观规律。我们对随机没有兴趣，感兴趣的是通过大量随机试验总结出的数学模型。当某个试验可以在完全相同的条件下不断重复时，对于任意事件E（试验的可能结果的集合，事件是集合，不是动作），结果在出现在E中的次数占比趋近于某个常量，这个常数极限是事件E的概率，用P(E)表示。 　　我们需要对现实世界建模，将现实世界的动作映射为函数，动作结果映射为数。比如把投硬币看作f(z)，z是影响结果的一系列不可观测的变量，x 表示投硬币的结果，x = f(z)

文章目录 1 比特化(Bits) 2 信息熵 2.1 信息量 2.2 信息熵的意义 2.3 条件熵 3 决策树的概念 3.1 决策树的构建 3.2 决策树的特征属性 3.3 决策树分割属性 3.4 决策树量化纯度 3.5 决策树的停止条件 3.6 决策树算法效果的评估 4 ID3算法 5 C4.5算法 6 CART算法 7 分类树和回归树 8 决策树的优化策略 8.1 剪枝优化 9 总结 1 比特化(Bits) 假设现在随机变量X具有m个值，分别为: V 1 ,V 2 ,…,V m ；并且各个值出现的概率: P(X=V 1 )=p 1 ,P(X=V 2 )=p 2 , P(X=V 3 )=p 3 …P(X=V m )=p m 可以使用这些变量的期望来表示每个变量需要多少个比特位来描述信息: 2 信息熵 H(X)就叫做随机变量X的信息熵。 2.1 信息量 指的是一个样本/事件所蕴含的信息，如果一个事件的概率越大，那么就 可以认为该事件所蕴含的信息越少。极端情况下，比如：“太阳从东方升起”，因为是确定事件，所以不携带任何信息量。 2.2 信息熵的意义 信息熵就是用来描述系统信息量的不确定度。 一个系统越是有序，信息熵就越低，一个系统越是混乱，信息熵就越高，所以信息熵被认为是一个系统有序程度的度量。 High Entropy(高信息熵) ：表示随机变量X是均匀分布的

1、引入随机变量 样本空间内的概率事件都能定义唯一的一个数与之对应，把事件数字化，这些数也变得有概率性。这些数就是随机变量。 当把随机变量定义为数轴上的一个数时，我们也称之为一维随机变量。用大写的X表示。 当研究一维随机变量X时，引入随机变量的分布函数。 2、随机变量的分布 对于数轴上的某个数，研究其分布时就引入了该函数式：（x表示数轴上的数） p={X<=x} 这个函数式表达的是： 当数轴上的全体实数x(小写x)从负无穷向正无穷移动时，通过不等式X<=x计算出的值就是随机变量X不断出现的概率值。 当移动的过程中，X随机变量出现的概率由不可能（概率=0）变为必然（概率=1） 随机变量的分布函数 F(x) = p{X<=x} x取值为负无穷到正无穷，取遍整个实数集。 连续型随机变量某个点的概率值是测不出来的，其概率密度函数的积分为0； 一般情况下，概率分布函数用F（大写F）表示，概率密度函数用f(小写f)表示。 概率分布函数和概率密度函数的自变量都是数轴上的数。 连续型随机变量的分布函数是累加函数 与离散型随机变量分布不同，连续型随机变量的分布的某点分布是无意义的，其值为积分值。也要区别与离散随机变量的分布律。 概率分布函数 = 概率密度函数的定积分 3、常见随机变量分布类型 一、伯努利一次实验（0-1分布） 二、伯努利n次实验（二项分布） 三、伯努利首中即停止实验（几何分布） 四

这里写自定义目录标题 概率和统计是一个东西吗？ 概率函数与似然函数 最大似然估计（MLE） 最大后验概率估计 最大后验估计的例子 贝叶斯派观点 VS 频率派观点 贝叶斯定理 朴素贝叶斯分类器 朴素贝叶斯分类器实例 贝叶斯网络 贝叶斯网络的结构形式 因子图 从贝叶斯网络来观察朴素贝叶斯 概率和统计是一个东西吗？ 概率（probabilty）和统计（statistics）看似两个相近的概念，其实研究的问题刚好相反。 概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 举个例子，我想研究怎么养猪（模型是猪），我选好了想养的品种、喂养方式、猪棚的设计等等（选择参数），我想知道我养出来的猪大概能有多肥，肉质怎么样（预测结果）。 统计是，有一堆数据，要利用这堆数据去预测模型和参数。 仍以猪为例。现在我买到了一堆肉，通过观察和判断，我确定这是猪肉（这就确定了模型。在实际研究中，也是通过观察数据推测模型是／像高斯分布的、指数分布的、拉普拉斯分布的等等），然后，可以进一步研究，判定这猪的品种、这是圈养猪还是跑山猪还是网易猪，等等（推测模型参数）。 一句话总结： 概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。 显然， 本文解释的MLE(最大似然估计)和MAP（最大后验估计）都是统计领域的问题。它们都是用来推测参数的方法(不是推测模型

10.质量管理 口袋应试：在质量管理这一章中，大概率出现的题点并不多，历年考试中出题也相对较少，不过在案例中会出现考点，并且在高级的考试中，会出论文题。大家必须掌握的内容是：10.2.3规划质量管理的工具与技术、10.4.3质量控制工具与技术中的老七工具，老七工具要会看图区别，掌握其各自的概念和用途。 10.1项目质量管理概论 10.1.2质量管理及其发展史 1.质量管理 质量管理（Quality Management）是指确定质量方针、目标和职责，并通过质量体系中的质量规划、质量保证和质量控制以及质量改进来使其实现所有管理职能的全部活动。质量管理是指为了实现质量目标而进行的所有质量性质的活动。在质量方面指挥和控制的活动，包括质量方针和质量目标以及质量规划、质量保证、质量控制和质量改进。 第二版P352@10.1.2 出题概率：★ 190163 2.质量管理的发展史 质量管理的发展，大致经历了手工艺人时代、质量检验阶段、统计质量控制阶段、 全面质量管理阶段4个阶段。 1) 手工艺人时代 2) 质量检验阶段 3) 统计质量控制阶段 4)全面质量管理阶段 20世纪60年代初，美国的费根鲍姆和朱兰提出全面质量管理理论（TQM)，将质 量控制扩展到产品寿命循环的全过程，强调全体员工都参与质量控制。在全面质量管理 阶段，TQM的发展又经历了三个步骤，从最初的以顾客为中心的质量保证，到强调持续