Python机器学习笔记:朴素贝叶斯算法
朴素贝叶斯是经典的机器学习算法之一,也是为数不多的基于概率论的分类算法。对于大多数的分类算法,在所有的机器学习分类算法中,朴素贝叶斯和其他绝大多数的分类算法都不同。比如决策树,KNN,逻辑回归,支持向量机等,他们都是判别方法,也就是直接学习出特征输出Y和特征X之间的关系,要么是决策函数,要么是条件分布。但是朴素贝叶斯却是生成方法,该算法原理简单,也易于实现。 1,基本概念 朴素贝叶斯 :贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。而朴素贝叶斯分类时贝叶斯分类中最简单,也是最常见的一种分类方法。 贝叶斯公式 : (X:特征向量, Y:类别) 先验概率P(X) :先验概率是指根据以往经验和分析得到的概率。 后验概率P(Y|X) :事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,后验分布P(Y|X)表示事件X已经发生的前提下,事件Y发生的概率,叫做事件X发生下事件Y的条件概率。 后验概率P(X|Y) :在已知Y发生后X的条件概率,也由于知道Y的取值而被称为X的后验概率。 朴素 :朴素贝叶斯算法是假设各个特征之间相互独立,也是朴素这词的意思那么贝叶斯公式中的P(X|Y)可写成: 朴素贝叶斯公式 : 2,贝叶斯算法简介 NaiveBayes算法,又称朴素贝叶斯算法。朴素:特征条件独立;贝叶斯