贝叶斯

数据挖掘算法总结 1.分类算法 所谓分类，简单来说，就是根据文本的特征或属性，划分到已有的类别中。常用的分类算法包括：决策树分类法，朴素的贝叶斯分类算法(native Bayesian classifier)、基于支持向量机(SVM)的分类器，神经网络法，k-最近邻法(k-nearest neighbor，kNN)，模糊分类法等等 决策树分类法 机器学习中决策树是一个预测模型，它表示对象属性和对象值之间的一种映射，树中的每一个节点表示对象属性的判断条件，其分支表示符合节点条件的对象。树的叶子节点表示对象所属的预测结果。 朴素的贝叶斯分类算法(native Bayesian classifier) 举例说明，我们想计算含有单词drugs的邮件为垃圾邮件的概率。 在这里，A为“这是封垃圾邮件”。我们先来计算P(A)，它也被称为先验概率，计算方法是，统计训练中的垃圾邮件的比例，如果我们的数据集每100封邮件有30封垃圾邮件，P(A)为30/100=0.3。 B表示“该封邮件含有单词drugs”。类似地，我们可以通过计算数据集中含有单词drugs的邮件数P(B)。如果每100封邮件有10封包含有drugs，那么P(B)就为10/100=0.1。 P(B|A)指的是垃圾邮件中含有的单词drugs的概率，计算起来也很容易，如果30封邮件中有6封含有drugs，那么P(B|A)的概率为6/30

前言 本文使用朴素贝叶斯算法实现 豆瓣Top250电影评价的情感分析与预测。 最近在学习自然语言正负面情感的处理问题，但是绝大部分能搜索到的实践都是Kggle上IMDB影评的情感分析。 所以在这里我就用最基础的朴素贝叶斯算法来对豆瓣的影评进行情感分析与预测。 在这里我参考了 https://github.com/aeternae/IMDb_Review ，万分感谢。 朴素贝叶斯分类器 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。 这种算法常用来做文章分类，垃圾邮、件垃圾评论分类，朴素贝叶斯的效果不错并且成本很低。 已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)。 P(B|A)表示事件A已经发生的前提下，事件B发生的概率，叫做事件A发生下事件B的条件概率。 朴素贝叶斯的公式 P ( B ∣ A ) = P ( A ∣ B ) P ( B ) P ( A ) P(B|A) = \frac{P(A|B)P(B)}{P(A)} P ( B ∣ A ) = P ( A ) P ( A ∣ B ) P ( B ) ​ 一个通俗易懂的视频教程 Youtube https://www.youtube.com/watch?v=AqonCeZUcC4 举个不太恰当的例子 我们想知道做程序员与秃头之间的关系

贝叶斯优化 Bayesian Optimization 2018年07月02日 22:28:06 余生最年轻 阅读数 4821 更多 分类专栏： 机器学习 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/qq_40597317/article/details/80888837 关键字：提取函数aquisition function，熵，响应曲面 简介：所谓优化，实际上就是一个求极值的过程，数据科学的很多时候就是求极值的问题。那么怎么求极值呢？很显然，很容易想到求导数，这是一个好方法，但是求导即基于梯度的优化的条件是函数形式已知才能求出导数，并且函数要是凸函数才可以。然而实际上很多时候是不满足这两个条件的，所以不能用梯度优化，贝叶斯优化应运而生了。 贝叶斯优化常原来解决反演问题， （反演问题是指由结果及某些一般原理（或模型）出发去确定表征问题特征的参数（或模型参数）） 贝叶斯优化的好处在于只需要不断取样，来推测函数的最大值。并且采样的点也不多。 一、贝叶斯优化的适用条件 不知道函数的具体形态即表达式 但是如果给定一个x，可以计算y。这里的计算方法可以使用之前的GPR，如果(x,y)够多了，那么就基本知道函数图像的走势了。 适用于小于20维的空间上优化 二、目的

原文连接： http://tecdat.cn/?p=6252 R的Stan 可以从许多统计软件包中运行Stan。到目前为止，我一直在 从R 运行 Stan ，首先按照 快速入门指南中 的说明安装并运行所有内容。 简单线性回归 第一步是为Stan模型编写文件。这包含一个文件linreg.stan： data { int N; [N] x; vector[N] y; } parameters { real alpha; real beta; real sigma; } model { y ~ normal( + beta * x, sigma); } 该文件的第一部分称为数据，它声明了将作为输入传递给Stan的标量，向量和矩阵。 接下来，我们可以通过运行以下R代码来模拟数据集，并使用Stan和我们的文件linreg.stan来拟合模型： set.seed(123) n <- 100 x <- rnorm(n) y <- x+ (n) mydata <- list(N = n, y = y, x= ) fit <- stan(file = 'linreg. ', data = mydata, iter = 1000, = 4) 第一次安装Stan模型时，模型编译成C ++时会有几秒钟的延迟。然而，正如Stan的开发人员描述的那样，一旦编译了模型

转载声明：本文为转载文章，发表于nebulaf91的csdn博客。欢迎转载，但请务必保留本信息，注明文章出处。 原文作者: nebulaf91 原文原始地址： http://blog.csdn.net/u011508640/article/details/72815981 最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。下文将详细说明MLE和MAP的思路与区别。 但别急，我们先从概率和统计的区别讲起。 概率和统计是一个东西吗？ 概率（probabilty）和统计（statistics）看似两个相近的概念，其实研究的问题刚好相反。 概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 举个例子，我想研究怎么养猪（模型是猪），我选好了想养的品种、喂养方式、猪棚的设计等等（选择参数），我想知道我养出来的猪大概能有多肥，肉质怎么样（预测结果）。 统计研究的问题则相反。统计是，有一堆数据，要利用这堆数据去预测模型和参数。仍以猪为例。现在我买到了一堆肉，通过观察和判断，我确定这是猪肉（这就确定了模型。在实际研究中

几个贝叶斯估计的例题 　　以下例题来自《机器学习导论》，书中证明不是很全也没有推导过程，所以我补全了解答。 贝叶斯估计 Dirichlet分布 已知方差的正态分布 正态分布 　　 　　此时不再是共轭后验先验分布了，会得到一个t分布，由于涉及的特殊函数积分和自由度计算的数学技巧比较高，所以我没能补全证明。数学好的同学可以尝试一下，虽然我联系概率统计的知识看看结论觉得很显然可以理解，但是我自己没有动手算过。 来源： CSDN 作者： pku_zzy 链接： https://blog.csdn.net/PKU_ZZY/article/details/74295673

本文的出发点是一篇期刊论文，但集中探讨的是这篇文章中 不确定度估计的原理与过程 ，行文将与之前的文献报告不同。 原文 Bhattacharyya A , Fritz M , Schiele B . Long-Term On-Board Prediction of People in Traffic Scenes under Uncertainty[J]. 2017. 原文的一篇重要引用文献 Kendall A , Gal Y . What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?[J]. 2017. 关键词与基础概念 ： 车载视角、行人框预测、认知不确定性、偶然不确定性、采样、伯努利分布与dropout变分推断、蒙特卡洛积分、贝叶斯定理与贝叶斯推断、贝叶斯网络 近日在阅读“Long-Term On-Board Prediction of People in Traffic Scenes Under Uncertainty”，文章所提出的模型功能是基于车载移动视角对行人框位置做出预测，并能够同时评估两类不确定度（模型不确定度，数据不确定度）。 对神经网络的不确定度估计 涉及较多概率论的知识，而且从理论到应用的转化也涉及到使用近似量估计的问题，因此初次接触这部分知识该我带来了不小的挑战

1 概述交叉验证的使用：模型评价、超参数（阈值）优选，保证数据集同分布留一法交叉验证——MAE平均绝对误差 评价MAE（2 P68）实值函数回归 2 KNN模型 KNN Step1 预处理 x估计=x-μ/σ 并且记录{μ(k),σ(k),k=1,2,3,4} 平均错误率、标准差 Step2 选K值 KNN中的K m-fold（v） 2 p21 错误率最小的，作为最终的K，对样本集进行预测，K不能为偶数 m次，取n-1份作为训练集，1作为验证集合，得到(Acc(k),K)Step3 决策 K近邻回归，2类别分类K为奇数，防止相等无法判断 p44 混淆矩阵 自然状态*预测输出（TP、FN、FP、TN） p46 评价指标要记总体正确率、总体错误率、查准率Precision、查全率Recall/灵敏度Sensiticity、特异度（真阴性率）、漏报率（假阴性率）、虚警率（假阳性率）、Fβ-Score（查准率和查全率的调和平均）F=2Precision·Recal /（Precision+Recall）马修相关系数、Kappa系数西瓜书p32 宏平均、微平均宏平均：先带入xx率公式计算，再求平均值微平均：先求平均值，再带入xx率公式计算3 基于树的模型决策树主要是cartcart tree 不纯性度量： -分类目标：Gini指标 -连续目标：最小平方残差、最小绝对残差分类

1 朴素贝叶斯原理 2 朴素贝叶斯算法 来源： https://www.cnblogs.com/eugene0/p/11421318.html

从各个地方摘抄过来，仅当自己的学习笔记，勿怪，侵删！ 概率图模型分为贝叶斯网络(Bayesian Network)和马尔可夫网络(Markov Network)两大类。贝叶斯网络可以用一个有向图结构表示， 马尔可夫网络可以表示成一个无向图的网络结构。 更详细地说，概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等，在机器学习的诸多场景中都有着广泛的应用。 概率图模型 概率图模型在实际中（包括工业界）的应用非常广泛与成功。这里举几个例子。隐马尔可夫模型（HMM）是语音识别的支柱模型，高斯混合模型（GMM）及其变种K-means是数据聚类的最基本模型，条件随机场（CRF）广泛应用于自然语言处理（如词性标注，命名实体识别），Ising模型获得过诺贝尔奖，话题模型在工业界大量使用(如腾讯的推荐系统）等等 机器学习的一个核心任务是从观测到的数据中挖掘隐含的知识，而概率图模型是实现这一任务的一种很elegant，principled的手段。PGM巧妙地结合了图论和概率论。 　　从图论的角度，PGM是一个图，包含结点与边。结点可以分为两类：隐含结点和观测结点。边可以是有向的或者是无向的。 　　从概率论的角度，PGM是一个概率分布，图中的结点对应于随机变量，边对应于随机变量的dependency或者correlation关系。 　　给定一个实际问题