贝叶斯

条件概率 乘法公式 全概率公式 根据小偷们的资料，计算村子今晚失窃概率的问题：P(Ai)表示小偷 i 作案的概率，P(B|Ai)表示小偷 i 作案成功的概率，那么P(B)就是村子失窃的概率 贝叶斯公式（又称逆概公式） P(Ai)>0，则对任一事件B，只要P(B)>0，有 若村子今晚失窃，计算哪个小偷嫌疑最大的问题（嫌疑最大就是后验概率最大） 假设小偷1和小偷2在某村庄的作案数量比为3:2，前者偷窃成功的概率为0.02，后者为0.01，现村庄失窃，求这次失窃是小偷1作案的概率。 【分析】A1={小偷1作案}，A2={小偷2作案}，B={村庄失窃} 总结: 先验概率P(A)：在不考虑任何情况下，A事件发生的概率 条件概率P(B|A)：A事件发生的情况下，B事件发生的概率 后验概率P(A|B)：在B事件发生之后，对A事件发生的概率的重新评估 全概率：如果A和A'构成样本空间的一个划分，那么事件B的概率为：A和A'的概率分别乘以B对这两个事件的概率之和。 朴素贝叶斯的直观理解 案例： 有一个训练集包含100个人，其中有60个非洲人（黑卷 47,黑直 1,黄卷 11,黄直 1），有40个亚洲人（黑卷 1,黄卷 4,黄直*35），请训练朴素贝叶斯模型。 肤色x1={黑，黄}， 发型x2={卷，直}； 地区label={亚，非} 先计算先验概率： 亚洲人的比例m，非洲人的比例 模型构建

你和我之前的人生， 就像是来自同一个分布族的共轭曲线， 即使有各自的参数空间， 也注定要相识相念。 你和我之后的人生， 是我们相扶相持下不离不弃的最大似然， 用“信任与珍惜”的先验去修正所有后验， 用“包容和分享”的样本去做无悔一生的推断。 这是朴素的贝叶斯思想， 也是我们朴素的爱情宣言 贝叶斯(Thomas Bayes,1701―1761)，这个十八世纪伦敦的长老会牧师和业余数学家，41岁时因介绍并捍卫牛顿的微积分学而加入英国皇家学会。 他曾经为了证明上帝的存在，发明了概率统计学原理，虽然他这一美好愿望至死也未能实现，生前也并没有发表过自己的数学学说。但是，贝叶斯逝世后，好友Richard Price搜集了他的手稿，使概率统计学的贝叶斯理论终于公布于世的。可能贝叶斯生前也并未预料，自己作为业务数学家的手稿竟在一百多年后对二十世纪后的各类现代科学一次次地推波助澜，使得无数现代科学家不得不回头学习贝叶斯理论将其纳入自己的研究体系。 所谓的贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章，在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后

朴素贝叶斯分类 从名字来看,好像跟统计学里面的贝叶斯公式有关,我个人觉得好像没有什么太大的关系,只是用到里面的一个思想而已,公式应用的意义不大 P ( A | B ) 表示在已经发生B的前提下A发生的概率,这就是条件概率 如果两个事件本身是相互独立的,那么两个事件都发生的联合概率就是 P ( AB )= P ( A ) P ( B ) 如果已经存在一个训练数据集合D,这个集合中存在N条数据,每条数据都有n个属性,所以存在很多种组合 这里就针对某个固定的记录Ni而言对应的额属性存在多属性对应的值,下面针对属性进行对应的计算 ˼·: 如果在D中多个属性存在多个值,我们选其中值个数最少的属性作为分类,其他属性作为针对这个属性分类的参数. 比如: # 属性 A B C D E # 值 a b c d e 那么如果属性E只有两个值e1和e2,分别对应着高手和菜鸟,前面的属性ABCD都是描述性的信息,比如A是C语言水平高级,中级,低级,入门,B是计算机底层知识牛逼,高端,一般,入门,求都不懂… 那么记录就可能存在 那么我们就有理由将其分为E属性对应的e1值:高手 作为数据集合D中的记录存在有N条数据,这里针对这个D集合进行训练,获取出所有的属性进行针对E属性的分类计算 比如:先只分析A属性 如果A属性存在5个值,在所有的记录中进行统计发现,当E属性为高手的所有记录中

贝叶斯分类器： 分类原理：通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即 该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类 。 经典的贝叶斯公式： ：类条件概率，表示在某种类别前提下，某事发生的概率；而 为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这个后验概率，我们就可以对样本进行分类。 后验概率越大，说明某事物属于这个类别的可能性越大，我们越有理由把它归到这个类别下。 已知： 在夏季，某公园男性穿凉鞋的概率为1/2，女性穿凉鞋的概率为2/3，并且该公园中男女比例通常为2:1， 问题： 若你在公园中随机遇到一个穿凉鞋的人，请问他的性别为男性或女性的概率分别为多少？ （若只考虑分类问题，只需要比较后验概率的大小，的取值并不重要）。 问题引出 和类条件概率(各类的总体分布) 都是未知的。根据仅有的样本数据进行分类时，一种可行的办法是我们需要先对先验概率和类条件概率进行估计，然后再套用贝叶斯分类器。 先验概率的估计 较简单，1、每个样本所属的自然状态都是已知的（有监督学习）；2、依靠经验；3、 用训练样本中各类出现的频率估计 。 类条件概率的估计 （非常难），原因包括：概率密度函数包含了一个随机变量的全部信息；样本数据可能不多；特征向量x的维度可能很大等等。总之要直接估计类条件概率的密度函数很难。 解决的办法就是，把估计完全未知的概率密度

#coding:utf-8 import math Iris_setosa_data=[] Iris_versicolor_data=[] Iris_virginica_data=[] #读取训练数据集，这里我将每种花取前45条数据，剩下的5条数据另外存入测试数据集 def read_train_data(filename): f=open(filename,'r') all_lines=f.readlines() for line in all_lines[0:45]: line=line.strip().split(',') Iris_setosa_data.append(line[0:4]) #Iris_setosa_label+=1 for line in all_lines[51:95]: line=line.strip().split(',') Iris_versicolor_data.append(line[0:4]) #Iris_versicolor_label+=1 for line in all_lines[101:145]: line=line.strip().split(',') Iris_virginica_data.append(line[0:4]) #Iris_virginica_label+=1 return Iris_setosa_data

一。基本原理 贝叶斯公式 二。在文本分类中的情况 sklearn实现 1 from sklearn.datasets import fetch_20newsgroups 2 from sklearn.model_selection import train_test_split 3 from sklearn.feature_extraction.text import TfidfVectorizer 4 from sklearn.naive_bayes import MultinomialNB 5 6 def news_classification(): 7 """ 8 朴素贝叶斯对新闻进行分类 9 :return: 10 """ 11 #1.获取数据 12 news=fetch_20newsgroups("c:/new",subset="all") 13 #print(news) 14 #2.划分数据集 15 x_train,x_test,y_train,y_test=train_test_split(news.data,news.target) 16 # print(x_train) 17 #3.特征工程：文本特征抽取-tfidf 18 transfer=TfidfVectorizer() 19 x_train=transfer.fit_transform(x_train)

0 - 算法 　　给定如下数据集 $$T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\},$$ 假设$X$有$J$维特征，且各维特征是独立分布的，$Y$有$K$种取值。则对于输入$x$，朴素贝叶斯算法的输出为 $$y=arg\max_{c_k}P(Y=c_k)\prod_j P(X^{(j)}=x^{(j)}|Y=c_k),j=1,\cdots,J,k=1,\cdots,K,$$ 1 - 推导 　　朴素贝叶斯的基本公式为 $$P(B|A)=\frac{P(A|B)P(B)}{P(A)},$$ 　　在数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\},$中，有如下几个公式成立 $$\begin{align} a+b \end{align}$$ 来源： https://www.cnblogs.com/CZiFan/p/11759980.html

https://www.cnblogs.com/smuxiaolei/p/7500634.html 来源： https://www.cnblogs.com/kaobeixingfu/p/11746214.html

贝叶斯公式 　　贝叶斯公式由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率 之间的关系，比如 P(A|B) 和 P(B|A) 。按照乘法法则，可以立刻导出： P(A ∩ B) = P(A)*P(B|A)=P(B)*P(A|B) 。如上公式也可变形为： P(A|B)=P(B|A)*P(A)/P(B) 。由于其有着坚实的数学基础，贝叶斯分类算法的误判率是很低的。贝叶斯方法的特点是结合先验概率和后验概率，即避免了只使用先验概率的主观偏见，也避免了单独使用样本信息的过拟合现象。贝叶斯分类算法在数据集较大的情况下表现出较高的准确率，同时算法本身也比较简单。 贝叶斯 　　贝叶斯 (Thomas Bayes,1702 — 1761) ，英国牧师、业余数学家。生活在 18 世纪的贝叶斯生前是位受人尊敬的英格兰长老会牧师。为了证明上帝的存在，他发明了概率统计学原理，遗憾的是，他的这一美好愿望至死也未能实现。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。 1763 年发表了这方面的论著，对于现代概率论和数理统计都有很重要的作用。 1758 年发表了另一著作《机会的学说概论》。 贝叶斯所采用的许多术语都被沿用至今

1、概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。由图灵奖获得者Pearl开发出来。 如果用一个词来形容概率图模型（Probabilistic Graphical Model）的话，那就是“优雅”。对于一个实际问题，我们希望能够挖掘隐含在数据中的知识。概率图模型构建了这样一幅图，用观测结点表示观测到的数据，用隐含结点表示潜在的知识，用边来描述知识与数据的相互关系， 最后基于这样的关系图获得一个概率分布 ，非常“优雅”地解决了问题。 概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变量的依赖或相关关系，其中 有向边表示单向的依赖，无向边表示相互依赖关系 。 概率图模型分为**贝叶斯网络（Bayesian Network）和马尔可夫网络（Markov Network）**两大类。贝叶斯网络可以用一个有向图结构表示，马尔可夫网络可以表 示成一个无向图的网络结构。更详细地说，概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等，在机器学习的诸多场景中都有着广泛的应用。 2、参数是随机变量，而样本X 是固定的，由于样本是固定的，所以他们重点研究的是参数的分布。 贝叶斯派既然把看做是一个随机变量，所以要计算的分布，便得事先知道的无条件分布