概率图模型

作者：Scofield 链接：https://www.zhihu.com/question/35866596/answer/236886066 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 so far till now, 我还没见到过将CRF讲的个明明白白的。一个都没。就不能不抄来抄去吗？ 我打算搞一个这样的版本，无门槛理解的。 ——20170927 陆陆续续把调研学习工作完成了，虽然历时有点久，现在put上来。评论里的同学也等不及了时不时催我，所以不敢怠慢啊…… 总结的还算比较体系化，蛮长的，请读者慢慢看，肯定有收获的。 (好痛苦，这么多公式都要在知乎上重输；是在MD上写的，在知乎上没想到格式这么难看……) ——20180129 概率图模型学习笔记：HMM、MEMM、CRF 一、Preface 二、Prerequisite 2.1 概率图 2.1.1 概览 2.1.2 有向图 vs. 无向图 2.1.3 马尔科夫假设&马尔科夫性 2.2 判别式模型 vs. 生成式模型 2.3 序列建模 三、HMM 3.1 理解HMM 3.2 模型运行过程 3.2.1 学习过程 3.2.2 序列标注（解码）过程 3.2.3 序列概率过程 四、MEMM 4.1 理解MEMM 4.2 模型运行过程 4.2.1 学习过程 4.2.2 序列标注（解码）过程 4.2.3

过去的一段时间里，忙于考试、忙于完成实验室 要求的任务 、更忙于过年，很长时间没有以一种良好的心态来回忆、总结自己所学的东西了。这几天总在想，我应该怎么做。后来我才明白，应该想想我现在该做什么，所以我开始写这篇博客了。这将是对概率图模型的一个很基础的总结，主要参考了《PATTERN RECOGNITION and MACHINE LEARNING》。看这部分内容主要是因为 LDPC码 中涉及到了相关的知识。概率图模型本身是值得深究的，但我了解得不多，本文就纯当是介绍了，如有错误或不当之处还请多多指教。 0. 这是什么？ 很多事情是具有不确定性的。人们往往希望从不确定的东西里尽可能多的得到确定的知识、信息。为了达到这一目的，人们创建了概率理论来描述事物的不确定性。在这一基础上，人们希望能够通过已经知道的知识来推测出未知的事情，无论是现在、过去、还是将来。在这一过程中，模型往往是必须的，什么样的模型才是相对正确的？这又是我们需要解决的问题。这些问题出现在很多领域，包括模式识别、差错控制编码等。 概率图模型是解决这些问题的工具之一。从名字上可以看出，这是一种或是一类模型，同时运用了概率和图这两种数学工具来建立的模型。那么，很自然的有下一个问题 1. 为什么要引入概率图模型？ 对于一般的统计推断问题，概率模型能够很好的解决，那么引入概率图模型又能带来什么好处呢？

1、概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。由图灵奖获得者Pearl开发出来。 如果用一个词来形容概率图模型（Probabilistic Graphical Model）的话，那就是“优雅”。对于一个实际问题，我们希望能够挖掘隐含在数据中的知识。概率图模型构建了这样一幅图，用观测结点表示观测到的数据，用隐含结点表示潜在的知识，用边来描述知识与数据的相互关系， 最后基于这样的关系图获得一个概率分布 ，非常“优雅”地解决了问题。 概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变量的依赖或相关关系，其中 有向边表示单向的依赖，无向边表示相互依赖关系 。 概率图模型分为**贝叶斯网络（Bayesian Network）和马尔可夫网络（Markov Network）**两大类。贝叶斯网络可以用一个有向图结构表示，马尔可夫网络可以表 示成一个无向图的网络结构。更详细地说，概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等，在机器学习的诸多场景中都有着广泛的应用。 2、参数是随机变量，而样本X 是固定的，由于样本是固定的，所以他们重点研究的是参数的分布。 贝叶斯派既然把看做是一个随机变量，所以要计算的分布，便得事先知道的无条件分布

从各个地方摘抄过来，仅当自己的学习笔记，勿怪，侵删！ 概率图模型分为贝叶斯网络(Bayesian Network)和马尔可夫网络(Markov Network)两大类。贝叶斯网络可以用一个有向图结构表示， 马尔可夫网络可以表示成一个无向图的网络结构。 更详细地说，概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等，在机器学习的诸多场景中都有着广泛的应用。 概率图模型 概率图模型在实际中（包括工业界）的应用非常广泛与成功。这里举几个例子。隐马尔可夫模型（HMM）是语音识别的支柱模型，高斯混合模型（GMM）及其变种K-means是数据聚类的最基本模型，条件随机场（CRF）广泛应用于自然语言处理（如词性标注，命名实体识别），Ising模型获得过诺贝尔奖，话题模型在工业界大量使用(如腾讯的推荐系统）等等 机器学习的一个核心任务是从观测到的数据中挖掘隐含的知识，而概率图模型是实现这一任务的一种很elegant，principled的手段。PGM巧妙地结合了图论和概率论。 　　从图论的角度，PGM是一个图，包含结点与边。结点可以分为两类：隐含结点和观测结点。边可以是有向的或者是无向的。 　　从概率论的角度，PGM是一个概率分布，图中的结点对应于随机变量，边对应于随机变量的dependency或者correlation关系。 　　给定一个实际问题

概率图模型 ：图中节点分为隐含节点、观测节点、边分为有向边和无向边。节点对应于随机变量，边对应两个节点间的依赖关系。最后基于这幅关系图获得一个概率分布。这就是概率图模型 分为两大块 ：贝叶斯网络（有向图）和马尔科夫网络（无向图） 朴素贝叶斯 ：由表达式可知后验概率决定了分类结果，故模型为y影响X 最大熵模型 ：熵是不确定性的度量。最大熵模型就是选择满足约束条件下熵最大的模型。通俗来说就是对于未知的事情，我们假设各个可能的观察结果出现的是一致的，即均匀分布。例如丢硬币，对于一枚未知的硬币，我们不知道它的密度是否均衡，我们就假设他的密度是均衡的，出现正反两面的概率均等 生成模式 ：利用训练集对联合概率分布P(x，y)建模，然后计算边缘概率分布作为结果推断——（常见的模型：朴素贝叶斯、贝叶斯网络、LDA、pLSA、隐马尔可夫模型） 判别模型 ：直接对条件概率分布P（y|x）建模，并以此作为推断依据。（常见模型：最大熵模型、条件随机场） 通常判别模型结果较好、生成模型较简单 隐马尔科夫模型 ：隐藏的马尔科夫链产生不可观测的随机状态序列，再由状态随机生成观测值 两大假设 ： 其次马尔科夫性（任何时刻的状态只与前一时刻的状态有关，与其他时刻的观测和状态均无关，且与时刻t本身也无关） 观测独立性：观测值只与当前时刻的状态有关，与其他时刻的状态和观测无关 模型包含的三个基本问题： 计算问题：计算P

1.概率图模型 概率图模型是一类用图形模式表达基于概率相关关系的模型的总称。 有向图 无向图 2.HMM HMM是动态贝叶斯网，是一种有向图模型，主要用于时序数据建模。 yi是状态变量，也称为隐变量，xi是观测变量。 3.MRF MRF是马尔可夫网，是无向图模型。 4.CRF CRF是一种无判别式无向图模型。 来源： https://blog.csdn.net/weixin_43989326/article/details/98884122