朴素贝叶斯算法

以上是本次使用的贝叶斯数据表，本次实验我不会介绍算法，只提供实验要求及代码 ――分类算法实现 一、实验题目 分类算法实现 二、实验内容 现有西瓜挑选数据文件：dataset.txt，编程实现朴素贝叶斯算法，并判断有如下特征的瓜是否好瓜： 青绿,稍蜷,浊响,清晰,凹陷,硬滑。 三、实验目的 1、理解分类算法基本过程 2、熟悉贝叶斯分类算法 2、锻炼分析问题、解决问题并动手实践的能力 四、实验指导 1、自行采用一种语言编程实现算法（注意：计算条件概率、判别分类等核心算法需自己编程实现） 2、用课堂例子进行正确性检验 3、用户界面友好，要考虑到输入输出 4、分析结果，说明理论分析到数值计算的注意问题 代码实验（代码查询数据我是写死了的，只适合初学者阅读，有兴趣也可以尝试修改一下） package homework; import java.io.BufferedReader; import java.io.File; import java.io.FileNotFoundException; import java.io.FileReader; import java.io.IOException; import java.util.ArrayList; public class bys { static ArrayList<String> list = new ArrayList

贝叶斯算法在概率论中有详细说明，这算是概率统计的基础知识。 公式解释，当你想求B条件下A发生的概率时候，可以转化为A条件下B发生的概率和A，B概率的关系。 使用场景： 1、拼写纠正 当一个人经常输入the，tht，thc，当又一次输入了tha时候，那纠正他输入的是the，tht，thc是哪个？概率分别是多少，哪个概率最高，就会纠正为哪个。怎么判断，就需要了贝叶斯算法，当输入为tha时候，求的是P（the|tha）,P（tht|tha）,P（thc|tha）,转化为求P（tha|the）,P（tha|tht）,P（tha|thc），P(A)，P(B)，其中P(B)可以忽略，只求P(A)*P（tha|the）,P（tha|tht）,P（tha|thc），转化为观察数据，也就是猜测生成我们观察到的数据的可能性大小，先验概率P(A)。 当最大似然无法做出决策时候，先验概率可以帮助来选择最高的概率。 最大似然：最符合观测数据的 最有优势。 奥卡姆剃刀： 较大的模型有较大的优势。越高阶的多项式越不常见。 2、垃圾邮件过滤实例 给你一封邮件，看是否为垃圾邮件还是正常邮件，D表示收到邮件中的n个单词组成，用h+和h-分别表示垃圾和正常邮件，比如，收到了1w封邮件，有1000封邮件是垃圾的邮件，那先验概率就是10%和 90%，分别是垃圾邮件和正常邮件。 D中的词d1，d2，d3。。

##朴素贝叶斯 import numpy as np import pandas as pd from sklearn.datasets import load_iris from sklearn.naive_bayes import GaussianNB #1.导入数据 #data = pd.read_csv(’’) #2.数据预处理 #略，最终生成x_train,y_train,x_test #此处导入鸢尾花数据 x_train, y_train = load_iris(return_X_y=True) #3.模型训练（此处用高斯朴素贝叶斯，假设变量服从正态分布） clf = GaussianNB() clf.fit(x_train, y_train) #4.模型预测 #测试数据暂用训练数据 x_test = x_train[:2, :] y_predict = clf.predict(x_test) print(y_predict) #参数列表与调参方法 高斯贝叶斯：先验为高斯分布的朴素贝叶斯 #GaussianNB(priors=None, var_smoothing=1e-09) priors:类的先验概率。可以指定。默认为None，即由数据计算。 var_smoothing:所有要素的最大方差的部分，添加到计算稳定性的方差中。 多项式贝叶斯

1.概率基础： 　　联合概率:包含多个条件，并且所有条件同时成立的概率。P(A,B)=P(A)*P(B); 　　条件概率:在事件B发生的条件下，事件A发生的概率。P(A|B)=P(AB)/P(B)=P(B|A)P(A)/P(B); 　　　　条件概率的特性：当AB相互独立时，P(A1,A2|B)=P(A1|B)P(A2|B) 2.朴素贝叶斯公式： 　　这里以文档预测给出，一篇文章可以分为一个个词组，判断这篇文章属于什么类型，就是依据词组在总文章中的概率大小。 　　W为给定的文章，Fn为文章中的不同词组，C为文章类别。W=F1+F2+F3......+Fn; 　　依据给定的文章和词语来预测这是一篇什么类型的文章。 　　P(C|W)=P(W|C)*P(C)/P(W)=P(F1,F2,F3......Fn|C)/P(F1,F2,F3......Fn); 来源： https://www.cnblogs.com/cwj2019/p/11755567.html

0 - 算法 　　给定如下数据集 $$T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\},$$ 假设$X$有$J$维特征，且各维特征是独立分布的，$Y$有$K$种取值。则对于输入$x$，朴素贝叶斯算法的输出为 $$y=arg\max_{c_k}P(Y=c_k)\prod_j P(X^{(j)}=x^{(j)}|Y=c_k),j=1,\cdots,J,k=1,\cdots,K,$$ 1 - 推导 　　朴素贝叶斯的基本公式为 $$P(B|A)=\frac{P(A|B)P(B)}{P(A)},$$ 　　在数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\},$中，有如下几个公式成立 $$\begin{align} a+b \end{align}$$ 来源： https://www.cnblogs.com/CZiFan/p/11759980.html

# 朴素贝叶斯模型 ## 1 - 基础定理与定义 - 条件概率公式： $$ P(A|B)=\dfrac{P(AB)}{P(B)} $$ - 全概率公式： $$ P(A)=\sum_{j=1}^N P(AB_i)=\sum_{j=1}^N P(B_i)P(A|B_i) $$ - 贝叶斯公式： $$ P(B_i|A)=\dfrac{P(AB_i)}{P(A)}=\dfrac{P(B_i)P(A|B_i)}{\sum_{j=1}^N P(B_i)P(A|B_i)} $$ - 概率加和规则： $$ P\left(X=x_i\right)=\sum_{j=1}^N P\left(X=x_i,Y=y_j\right) $$ $$ P\left(X\right)=\sum_Y P\left(X,Y\right) $$ - 概率乘积规则： $$ P\left(X=x_i,Y=y_j\right)=P\left(Y=y_j|X=x_i\right)P\left(X=x_i\right) $$ $$ P\left(X,Y\right)=P\left(Y|X\right)P\left(X\right) $$ - 生成学习方法： 利用训练数据学习$P(X|Y)$和$P(Y)$的估计，得到联合概率分布： $$ P(X,Y)=P(Y)P(X|Y) $$ 然后求得后验概率分布$P(Y|X)$.

贝叶斯定理 是关于随机事件A和B的条件概率的一则定理（比如常见的：P(A|B)是在B发生的情况下A发生的可能性）。 朴素 的含义是各特征相互独立，且同等重要。某些 分类 算法均以贝叶斯定理为基础。由此产生了 朴素贝叶斯分类算法 。 朴素贝叶斯分类算法的思想基础是：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。 分类算法的主要任务是构造分类器。 评价分类器的质量可以从这个视角考虑下：首先要定义，分类器的正确率指分类器正确分类的项目占所有被分类项目的比率。通常使用回归测试来评估分类器的准确率，最简单的方法是用构造完成的分类器对训练数据进行分类，然后根据结果给出正确率评估。但这不是一个好方法，因为使用训练数据作为检测数据有可能因为过分拟合而导致结果过于乐观，所以一种更好的方法是 在构造初期将训练数据一分为二，用一部分构造分类器，然后用另一部分检测分类器的准确率 。 拉普拉斯平滑对于改善朴素贝叶斯分类器的分类效果有着积极的作用。拉普拉斯平滑：为了解决零概率的问题，法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率，所以加法平滑也叫做拉普拉斯平滑。假定训练样本很大时，每个分量x的计数加1造成的估计概率变化可以忽略不计，但可以方便有效的避免零概率问题。 示例1 计算先验概率和类条件概率 计算后验概率 因为P(是|X)>P(否

概述 贝叶斯分类算法是统计学的一种概率分类方法，朴素贝叶斯分类是贝叶斯分类中最简单的一种。其分类原理就是利 用贝叶斯公式根据某特征的先验概率计算出其后验概率，然后选择具有最大后验概率的类作为该特征所属的类。之 所以称之为”朴素”，是因为贝叶斯分类只做最原始、最简单的假设:所有的特征之间是统计独立的。 1.条件概率公式 条件概率(Condittional probability)，就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。 根据文氏图可知:在事件B发生的情况下，事件A发生的概率就是P(A∩B)除以P(B)。 同理可得: 所以 全概率公式:如果事件 构成一个完备事件且都有正概率，那么对于任意一个事件B则 有: 2.贝叶斯推断 根据条件概率和全概率公式，可以得到贝叶斯公式如下 : P(A)称为"先验概率”(Prior probability)，即在B事件发生之前，我们对A事件概率的一个判断。 P(A| B)称为"后验概率" (Posterior probability)，即在B事件发生之后，我们对A事件概率的重新评估。 P(B |A)/P(B)称为"可能性函数”(Likely hood)， 这是一个调整因子，使得预估概率更接近真实概率。 所以条件概率可以理解为:后验概率=先验概率*调整因子 如果”可能性函数">1,意味着"先验概率"被增强

机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在 深度学习 很火热， 神经网络 也是一个不错的选择。 假如你在乎精度（accuracy）的话，最好的方法就是通过交叉验证（cross-valida ti on）对各个算法一个个地进行 测试 ，进行比较，然后调整参数确保每个算法达到最优解，最后选择最好的一个。但是如果你只是在寻找一个“足够好”的算法来解决你的问题，或者这里有些技巧可以参考，下面来分析下各个算法的优缺点，基于算法的优缺点，更易于我们去选择它。 1.天下没有免费的午餐 在机器学习领域，一个基本的定理就是“没有免费的午餐”。换言之，就是没有算法能完美地解决所有问题，尤其是对监督学习而言（例如预测建模）。 举例来说，你不能去说神经网络任何情况下都能比决策树更有优势，反之亦然。它们要受很多因素的影响，比如你的数据集的规模或结构。 其结果是，在用给定的测试集来评估性能并挑选算法时，你应当根据具体的问题来采用不同的算法。 当然，所选的算法必须要适用于你自己的问题，这就要求选择正确的机器学习任务。作为类比，如果你需要打扫房子，你可能会用到吸尘器、扫帚或是拖把，但你绝对不该掏出铲子来挖地。 2. 偏差

朴素贝叶斯之多项式模型 MultinomialNB 实现了数据服从多项式分布时的贝叶斯算法。 import numpy as np #随机产生0-4之间的整数，产六组，一组100个 x = np .random .randint ( 5 , size=( 6 , 10 )) y = np .array ([ 1 , 2 , 3 , 4 , 5 , 6 ]) from sklearn .naive _bayes import MultinomialNB mnb = MultinomialNB() ; mub_model = mnb .fit ( x , y ) print(mub_model .predict ( x [ 2 : 3 ])) 结果： [ 3 ] 朴素贝叶斯之高斯模型 GaussianNB 实现了朴素贝叶斯的高斯模型( Gaussian Naive Bayes )的分类算法。 from sklearn import datasets iris = datasets.load_iris() from sklearn.naive_bayes import GaussianNB gnb = GaussianNB () gnb_model = gnb.fit(iris. data , iris.target) y_pred = gnb_model.predict(iris.