贝叶斯

LBS定位技术从方法上可分成三类：基于三角关系的定位技术、基于场景分析的定位技术、基于临近关系的定位技术（唐毅和杨博雄，2003）。 本博文首先对基于三角关系的定位技术进行了介绍，并对其中的应用最广泛的代表GPS进行阐述。 一、基于三角关系的定位方法 该技术的基本原理很简单，可以抽象成如下问题：已知A、B、C三个点的坐标，以及该三点至D点的距离（分别是d0，d1，d2），求D点的坐标。可以列出以下公式（式1），三个方程三个未知数，能求出唯一解。这种定位技术根据测量得出的数据，利用几何三角关系计算被测物体的位置，它是最主要的，也是应有最广的一种定位技术。 二、GPS GPS（全球定位系统）的空间部分使用24颗高度约2.02万千米的卫星组成卫星星座。卫星分布在六个中距离近圆形轨道面上（每轨道面四颗），轨道倾角为55度。卫星的分布使得在全球的任何地方，任何时间都可观测到四颗以上的卫星。 （1）为什么至少使用4颗卫星？ GPS定位的基本原理即前面提到的三角关系法。接收机接收各个卫星Si发送的消息Mi，消息Mi不仅包含着卫星Si的空间坐标，还包括卫星发送消息的时间Ti。接收机在接收Mi后就可根据本地接收机的时间与卫星发送消息时间之差来计算距离di：di = c*T；其中c是光速，T是时间差。然而，由于各种原因，包括大气、建筑物，时钟误差等等因素，光速c以及时间差T是具有误差的

1 总述 对于贝叶斯优化，总体可以分为两个部分，概率代理模型和采集函数。 2 概率代理模型和采集函数 概率代理模型：根据模型的参数个数是否固定可分为：参数模型和非参数模型。常见的参数模型有：贝塔-伯努利(Beta-Bernoulli)模型和线性(linear)模型。常见的非参数模型有高斯过程、随机森林等。本文介绍应用范围最广的高斯过程。 采集函数：主要根据后验概率代理模型，选择下一个具有潜力的评估点。 2.1 高斯过程 由于高斯过程的参数维度随着观测点的增加而增加，非固定，因此被归类为非参数模型（并非没有参数）。 高斯过程可以看成是一个函数，这个函数的输入是 x t + 1 x_{t+1} x t + 1 ​ ，函数的输出是在当前输入 x t + 1 x_{t+1} x t + 1 ​ 下的预测值在高斯分布下的均值和方差。 在训练中，主要涉及协方差矩阵的计算和超参数的优化。 2.2 采集函数 采集函数：对于采集函数需要一方面尽可能的探测未知的空间（未评估过的参数组合），这样概率代理模型才能更加接近真实的未知函数。另一方面，根据已经找到的最优值，加大在其周围搜索参数的力度，以期更加迅速的找到全局最优值。这两方面往往是矛盾的，需要在两者之间找到一个平衡点。常见的采集函数有三种：probability of improvenment(PI)、Expected improvement(EI

1 监督学习 　　利用一组带标签的数据, 学习 从输入到输出的映射 , 然后将这种映射关系应用到未知数据, 达到 分类 或者 回归 的目的 　　(1) 分类: 当输出是离散的, 学习任务为分类任务 　　　　 　　　　输入: 一组有标签的训练数据(也叫观察和评估), 标签 表明了这些数据(观察)的所属类别, 图中"猫"和"狗"就是标签 　　　　输出: 分类模型根据这些训练数据, 训练自己的模型参数, 学习出一个适合这组数据的分类器, 当有新数据(非训练数据)需要进行类别判断, 就可以将这组数据作为输入送给学习好的 分类器 进行判断(得到标签) 　　　　训练集: 训练模型已经标注的数据, 用来建立模型发现规律 　　　　测试集: 已标注的数据, 只不过把标注隐藏了, 再送给训练好的模型, 比对结果与原来的标注, 评判该模型的学习能力　　 　　　　一般来说, 获得了一组标注好的数据, 70%当做训练集, 30%当做测试集 , 另外还有交叉验证法, 自助法来评估学习模型 　　　　评价标准 　　　　　　1) 准确率 　　　　　　　　所有预测对的 　　　　　　　　把正类预测成正类(TP) 　　　　　　　　把负类预测成负类(TN) 　　　　　　　　准确率 = (TP+TN)/总数量 　　　　　　2) 精确率 　　　　　　　　以二分类为例 　　　　　　　　预测为正的样本是真的正样本 　　　　　　　

徒手实现一个贝叶斯分类器 引子 代码 小结 引子 朴素贝叶斯分类器顾名思义是以贝叶斯公式为基础的分类器，其将后验概率转换为先验概率和不同类的条件概率的乘积，再通过比较不同的类别下该乘积的大小实现分类。不同于其他的分类器，朴素贝叶斯分类器严格意义上没有训练过程，只需计算相关概率即可。贝叶斯分类器比较适合对自然语言分类的模型，下面以对英文评文本类为例，详细描述如何实现一个贝叶斯分类器。 代码 首先引入语料库，其内容为英文网站评论，如果需要处理中文，还需要对中文进行分词，获得单词列表。 postingList = [ [ 'my' , 'dog' , 'has' , 'flea' , 'problems' , 'help' , 'please' ] , [ 'maybe' , 'not' , 'take' , 'him' , 'to' , 'dog' , 'park' , 'stupid' ] , [ 'my' , 'dalmation' , 'is' , 'so' , 'cute' , 'I' , 'love' , 'him' ] , [ 'stop' , 'posting' , 'stupid' , 'worthless' , 'garbage' ] , [ 'mr' , 'licks' , 'ate' , 'my' , 'steak' , 'how' , 'to' , 'stop'

本文始发于个人公众号： TechFlow 上一篇文章当中我们介绍了 朴素贝叶斯模型的基本原理 。 朴素贝叶斯的核心本质是假设样本当中的变量 服从某个分布 ，从而利用条件概率计算出样本属于某个类别的概率。一般来说一个样本往往会含有许多特征，这些特征之间很有可能是有相关性的。为了简化模型，朴素贝叶斯模型 假设这些变量是独立的 。这样我们就可以很简单地计算出样本的概率。 想要回顾其中细节的同学，可以点击链接回到之前的文章： 机器学习基础——让你一文学会朴素贝叶斯模型 在我们学习算法的过程中，如果只看模型的原理以及理论，总有一些纸上得来终觉浅的感觉。很多时候，道理说的头头是道，可是真正要上手的时候还是会一脸懵逼。或者是勉强能够搞一搞，但是过程当中总会遇到这样或者那样各种意想不到的问题。一方面是我们动手实践的不够， 另一方面也是理解不够深入。 今天这篇文章我们实际动手实现模型，并且在 真实的数据集 当中运行，再看看我们模型的运行效果。 朴素贝叶斯与文本分类 一般来说，我们认为 狭义的事件 的结果应该是有限的，也就是说事件的结果应该是一个 离散值 而不是连续值。所以早期的贝叶斯模型，在引入高斯混合模型的思想之前，针对的也是离散值的样本（存疑，笔者推测）。所以我们先抛开连续特征的场景，先来看看在离散样本当中，朴素贝叶斯模型有哪些实际应用。 在机器学习广泛的应用场景当中，有一个非常经典的应用场景

本文始发于个人公众号： TechFlow 上一篇文章当中我们介绍了 朴素贝叶斯模型的基本原理 。 朴素贝叶斯的核心本质是假设样本当中的变量 服从某个分布 ，从而利用条件概率计算出样本属于某个类别的概率。一般来说一个样本往往会含有许多特征，这些特征之间很有可能是有相关性的。为了简化模型，朴素贝叶斯模型 假设这些变量是独立的 。这样我们就可以很简单地计算出样本的概率。 想要回顾其中细节的同学，可以点击链接回到之前的文章： 机器学习基础——让你一文学会朴素贝叶斯模型 在我们学习算法的过程中，如果只看模型的原理以及理论，总有一些纸上得来终觉浅的感觉。很多时候，道理说的头头是道，可是真正要上手的时候还是会一脸懵逼。或者是勉强能够搞一搞，但是过程当中总会遇到这样或者那样各种意想不到的问题。一方面是我们动手实践的不够， 另一方面也是理解不够深入。 今天这篇文章我们实际动手实现模型，并且在 真实的数据集 当中运行，再看看我们模型的运行效果。 朴素贝叶斯与文本分类 一般来说，我们认为 狭义的事件 的结果应该是有限的，也就是说事件的结果应该是一个 离散值 而不是连续值。所以早期的贝叶斯模型，在引入高斯混合模型的思想之前，针对的也是离散值的样本（存疑，笔者推测）。所以我们先抛开连续特征的场景，先来看看在离散样本当中，朴素贝叶斯模型有哪些实际应用。 在机器学习广泛的应用场景当中，有一个非常经典的应用场景

理论部分 相关概念 生成模型 判别模型 朴素贝叶斯基本原理 条件概率公式 乘法公式 全概率公式 贝叶斯定理 特征条件独立假设 后验概率最大化 拉普拉斯平滑 朴素贝叶斯的三种形式 高斯型 多项式型 伯努利型 极值问题情况下的每个类的分类概率 下溢问题如何解决 零概率问题如何解决 sklearn参数详解 实战部分 利用 sklearn 解决聚类问题。 sklearn.naive_bayes.GaussianNB import math class NaiveBayes: def __init__(self): self.model = None # 数学期望 @staticmethod def mean(X): """计算均值 Param: X : list or np.ndarray Return: avg : float """ avg = 0.0 # ========= show me your code ================== avg = np.mean(X) # ========= show me your code ================== return avg def stdev(self, X): """计算标准差 Param: X : list or np.ndarray Return: res : float """ res = 0.0

贝叶斯决策论（Bayesian decision theory） 是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。 具体来说，若我们决策的目标是最小化分类错误率，贝叶斯最优分类器要对每个样本 x，选择能使后验概率 P( c | x )最大的类别 c 标记。在现实任务中后验概率通常难以直接获得。从这个角度来说，机器学习所要实现的是基于有限的训练样本集尽可能准确地估计出后验概率 P( c | x )。大体来说，主要有两种策略：给定x，可通过直接建模P( c | x )来预测c，这样得到的是“判别式模型”，例如，决策树、BP神经网络、支持向量机等等；也可先对联合概率分布P( x,c )建模，然后在由此获得P( c | x )，这样得到的是“生成式模型” 朴素贝叶斯分类器 基于贝叶斯公式来估计后验概率P( c | x )的主要困难在于：类条件概率P( x | c )是所有属性上的联合概率，难以从有限的训练样本直接估计而得。因此朴素贝叶斯分类器采用了“属性条件独立性假设”：对已知类别，假设所有属性相互独立。也就是说，假设每个属性独立的对分类结果发生影响。 sklearn接口 from sklearn.naive_bayes import GaussianNB from sklearn

贝叶斯概率体系的研究有一段时间了，目前在推进贝叶斯神经网络，看到这篇文章的辩论，这里保存下。 https://mp.weixin.qq.com/s?__biz=MzI5NTIxNTg0OA==&mid=2247500837&idx=1&sn=df0915b394369cfe5c9e936c44143941&chksm=ec5473a2db23fab4ddfc73cd71ceb564f3d117413bf23409f10a914d4f785fa2bcc198c8375d&mpshare=1&scene=1&srcid=&sharer_sharetime=1579477971698&sharer_shareid=5602b79897cf8f6f7ddc6bebc0fd31a9&key=d9ed8b7b5a182cf8319326febeea126dc1a0f133c658544dc5a4550e0eda8ec115e8e4e4c539675ba2269197e22ec02fb6bef89e14a5eb4947f8da7d96a9dcdca8990658151a21d1a2f4588fae22ec06&ascene=1&uin=MjkzMjQ1MDQyMQ%3D%3D&devicetype=Windows+10&version=6208006f&lang=zh_CN&exportkey

1.相关概念 生成模型 ：在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。条件概率分布可以由生成模型根据贝叶斯定理形成。常见的基于生成模型算法有高斯混合模型和其他混合模型、隐马尔可夫模型、随机上下文无关文法、朴素贝叶斯分类器、AODE分类器、潜在狄利克雷分配模型、受限玻尔兹曼机 举例 ：要确定一个瓜是好瓜还是坏瓜，用判别模型的方法是从历史数据中学习到模型，然后通过提取这个瓜的特征来预测出这只瓜是好瓜的概率，是坏瓜的概率。 判别模型: 在机器学习领域判别模型是一种对未知数据 y 与已知数据 x 之间关系进行建模的方法。判别模型是一种基于概率理论的方法。已知输入变量 x ，判别模型通过构建条件概率分布 P(y|x) 预测 y 。常见的基于判别模型算法有逻辑回归、线性回归、支持向量机、提升方法、条件随机场、人工神经网络、随机森林、感知器 举例 ：利用生成模型是根据好瓜的特征首先学习出一个好瓜的模型，然后根据坏瓜的特征学习得到一个坏瓜的模型，然后从需要预测的瓜中提取特征，放到生成好的好瓜的模型中看概率是多少，在放到生产的坏瓜模型中看概率是多少，哪个概率大就预测其为哪个。