概率计算

声明： 1 ，本篇为个人对《 2012. 李航 . 统计学习方法 .pdf 》的学习总结，不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。 2 ，由于本人在学习初始时有很多数学知识都已忘记，所以为了弄懂其中的内容查阅了很多资料，所以里面应该会有引用其他帖子的小部分内容，如果原作者看到可以私信我，我会将您的帖子的地址付到下面。 3 ，如果有内容错误或不准确欢迎大家指正。 4 ，如果能帮到你，那真是太好了。 基本概念 惯例性，在刚看到“隐马尔可夫模型”这个名字时我的第一反应是：这什么鬼？于是在看书上的定义时一万个不明白.... 所以，为了能清楚的描述“隐马尔可夫模型”，我们还是从例子开始。 例子 如上图所示，有4个盒子，每个盒子里都装有红白两种颜色的球，每个盒子中球的个数见上图。 然后，按照下面的规则抽5次球： 第一次：从4个盒子里等概论随机选取1个盒子，然后从这个盒子里随机抽出1个球，记录其颜色后放回； 剩下4次： 若上一次是从盒子1中抽球，那这次一定是盒子2； 若上一次是盒子2或3，那这次则分别以0.4和0.6的概率选择左边或右边的盒子； 若上一次是盒子4，那这次各以0.5的概率选择是停留在盒子4还是转移到盒子3。 确定转译的盒子后，再从这个盒子里随机抽出一个球，记录其颜色后放回。 就这样，得到一个球的颜色序列： {红，红，白，白，红} 在这个过程中

1 隐马尔可夫模型HMM 隐马尔科夫模型（Hidden Markov Model，以下简称HMM）是比较经典的机器学习模型了，它在语言识别，自然语言处理，模式识别等领域得到广泛的应用。 当然，随着目前深度学习的崛起，尤其是 RNN ， LSTM 等神经网络序列模型的火热，HMM的地位有所下降。 但是作为一个经典的模型，学习HMM的模型和对应算法，对我们解决问题建模的能力提高以及算法思路的拓展还是很好的。 1.1 什么样的问题需要HMM模型 首先我们来看看什么样的问题解决可以用HMM模型。 使用HMM模型时我们的问题一般有这两个特征： １）我们的问题是基于序列的，比如时间序列，或者状态序列。 ２）我们的问题中有两类数据，一类序列数据是可以观测到的，即观测序列；而另一类数据是不能观察到的，即隐藏状态序列，简称状态序列。 有了这两个特征，那么这个问题一般可以用HMM模型来尝试解决。这样的问题在实际生活中是很多的。比如：我现在在打字写博客，我在键盘上敲出来的一系列字符就是观测序列，而我实际想写的一段话就是隐藏序列，输入法的任务就是从敲入的一系列字符尽可能的猜测我要写的一段话，并把最可能的词语放在最前面让我选择，这就可以看做一个HMM模型了。再举一个，我在和你说话，我发出的一串连续的声音就是观测序列，而我实际要表达的一段话就是状态序列，你大脑的任务

参考文献 1.李航《统计学习方法》 2. 刘建平老师的博客内容 3. 一文搞懂HMM 1.HMM模型的应用场景 首先我们来看看什么样的问题解决可以用HMM模型。使用HMM模型时我们的问题一般有这两个特征： １）我们的问题是基于序列的，比如时间序列，或者状态序列。 ２）我们的问题中有两类数据，一类序列数据是可以观测到的，即观测序列；而另一类数据是不能观察到的，即隐藏状态序列，简称状态序列。 2.HMM模型的基本定义 强调HMM的两个强假设： 【1】状态依前：即任意时刻的隐藏状态只依赖于它前一个隐藏状态 【2】观测独立：即任意时刻的观察状态只仅仅依赖于当前时刻的隐藏状态 HMM模型的三元组表示：（A，B，π） 3.HMM观测序列生成算法 4.HMM模型的三个基本问题 4.1评估观测序列出现的概率 （1）暴力解法求HMM观测序列出现的概率 直观上的想法就是：既然模型参数已知，观测序列也已知，那么我们可以穷举所有的隐藏序列。对于每一个隐藏序列， 首先计算其出现的概率，而后计算观测序列出现的概率，则隐藏序列和观测序列同时出现的联合概率就是两个概率相乘，然后求边缘概率分布，即可得到观测序列O在模型λ下出现的条件概率。计算看起来很容易，也很直观，但是当隐藏状态数N较大时，穷举的所有隐藏序列数目将是非常可怕的，这会使得这种计算方式无法进行。 （2）用前向算法求HMM观测序列出现的概率

近几年在自然语言处理领域中，HMM（隐马尔可夫模型）和 CRF（条件随机场）算法常常被用于分词、句法分析、命名实体识别、词性标注等。由于两者之间有很大的共同点，所以在很多应用上往往是重叠的，但在命名实体、句法分析等领域 CRF 似乎更胜一筹。通常来说如果做自然语言处理，这两个模型应该都要了解，下面我们来看看本文的内容。 从贝叶斯定义理解生成式模型和判别式模型 理解 HMM（隐马尔可夫模型）和 CRF（条件随机场）模型之前，我们先来看两个概念：生成式模型和判别式模型。 在机器学习中，生成式模型和判别式模型都用于有监督学习，有监督学习的任务就是从数据中学习一个模型（也叫分类器），应用这一模型，对给定的输入 X 预测相应的输出 Y。这个模型的一般形式为：决策函数 Y=f(X) 或者条件概率分布 P(Y|X)。 首先，简单从贝叶斯定理说起，若记 P(A)、P(B) 分别表示事件 A 和事件 B 发生的概率，则 P(A|B) 表示事件 B 发生的情况下事件 A 发生的概率；P(AB)表示事件 A 和事件 B 同时发生的概率。 根据贝叶斯公式可以得出： 生成式模型：估计的是联合概率分布，P(Y, X)=P(Y|X)*P(X)，由联合概率密度分布 P(X,Y)，然后求出条件概率分布 P(Y|X) 作为预测的模型，即生成模型公式为：P(Y|X)= P(X,Y)/ P(X)

引自：https://www.cnblogs.com/jiangxinyang/p/9367497.html 深度学习之Attention Model（注意力模型） 1、Attention Model 概述 　　深度学习里的Attention model其实模拟的是人脑的注意力模型，举个例子来说，当我们观赏一幅画时，虽然我们可以看到整幅画的全貌，但是在我们深入仔细地观察时，其实眼睛聚焦的就只有很小的一块，这个时候人的大脑主要关注在这一小块图案上，也就是说这个时候人脑对整幅图的关注并不是均衡的，是有一定的权重区分的。这就是深度学习里的Attention Model的核心思想。 　　人脑的注意力模型，说到底是一种资源分配模型，在某个特定时刻，你的注意力总是集中在画面中的某个焦点部分，而对其它部分视而不见。 2、Encoder-Decoder框架 　 所谓encoder-decoder模型，又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。seq2seq问题简单的说，就是根据一个输入序列x，来生成另一个输出序列y。常见的应用有机器翻译，文档提取，问答系统等。Encoder-Decoder模型中的编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。 　　Encoder-Decoder（编码-解码）是深度学习中非常常见的一个模型框架

树卷积神经网络Tree-CNN: A Deep Convolutional Neural Network for Lifelong Learning 2018-04-17 08:32:39 看_这是一群菜鸟 阅读数 1906 收藏 更多 分类专栏： 论文解读 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/qq_24305433/article/details/79856672 一、简介： 学习深度学习的人都知道，深度学习有一个严重的问题——“灾难性遗忘”，即一旦使用新的数据集去训练已有的模型，该模型将会失去对原数据集识别的能力。为解决这一问题，本文作者提出了树卷积神经网络 Tree-CNN ，通过先将物体分为几个大类，然后再将将各个大类依次进行划分，就行树一样不断的开枝散叶，最终叶节点得到的类别就是我们最终所要识别的类别。 二、网络结构及学习策略 1、网络结构 Tree-CNN模型借鉴了层分类器,树卷积神经网络由节点构成，和数据结构中的树一样，每个节点都有自己的ID、父亲(Parent)及孩子(Children)，网(Net，处理图像的卷积神经网络)，LT("Labels Transform"小编理解的就是每个节点所对应的标签，对于根节点和枝节点来说

人工智能里的数学修炼 | 概率图模型 ： 隐马尔可夫模型 人工智能里的数学修炼 | 隐马尔可夫模型：前向后向算法 人工智能里的数学修炼 | 隐马尔可夫模型 ： 维特比(Viterbi)算法解码隐藏状态序列 人工智能里的数学修炼 | 隐马尔可夫模型：基于EM的鲍姆-韦尔奇算法求解模型参数 已经较为清楚的讲述了隐马尔可夫模型及其在实际应用的三个问题：1. 生成观察序列概率, 2. 预测问题, 3. 模型参数学习问题。 这里介绍求解第一个生成观察序列概率的前向后向算法，前向后向算法实际上是两个算法的合成，即前向算法和后向算法，二者相似，这里主要以前向算法为例进行介绍 一、前向算法 前向算法针对的是隐马尔可夫模型的概率计算问题，即给定一个模型参数已知的隐马尔可夫模型(HMM)和一组观测序列 x 1 , x 2 , . . . , x n x_{1},x_{2},...,x_{n} x 1 ​ , x 2 ​ , . . . , x n ​ ，求HMM生成这组观测序列的概率 前向算法定义了一个“前向概率”的定义，即： 给定隐马尔可夫模型 λ \lambda λ ，定义1到t时刻部分的观测序列为 x 1 , x 2 , . . . , x t x_{1},x_{2},...,x_{t} x 1 ​ , x 2 ​ , . . . , x t ​ ,则t时刻的状态 x t x_{t} x t ​

95%置信区间，意味着如果你用同样的步骤，去选样本，计算置信区间，那么100次这样的独立过程，有95%的概率你计算出来的区间会包含真实参数值，即大概会有95个置信区间会包含真值。 而对于某一次计算得到的某一个置信区间，其包含真值的概率，我们无法讨论。 我们平常使用的频率学派（frequentist）95% 置信区间的意思并不是真值在这个区间内的概率是 95%。真值要么在，要么不在。由于在频率学派当中，真值是一个常数，而非随机变量（后者是贝叶斯学派） ，所以我们不对真值做概率描述。对于这个问题来说，理解的关键是我们是对这个构造置信区间的方法做概率描述，而非真值，也非我们算得的这个区间本身。 换言之，我们可以说，如果我们重复取样，每次取样后都用这个方法构造置信区间，有 95% 的置信区间会包含真值 。然而（在频率学派当中）我们无法讨论其中某一个置信区间包含真值的概率。 置信区间是指由样本统计量所构造的总体参数的估计区间。在统计学中，一个概率样本的置信区间（Confidence interval）是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度，其给出的是被测量参数的测量值的可信程度，即前面所要求的“一个概率” 来源： https://www.cnblogs.com/liuchenrui1/p/11955507.html

1.什么是logistic回归？ logistic回归虽然说是回归，但确是为了解决分类问题，是二分类任务的首选方法，简单来说，输出结果不是0就是1 举个简单的例子： 癌症检测：这种算法输入病理图片并且应该辨别患者是患有癌症（1）或没有癌症（0） 2.logistic回归和线性回归的关系 逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）。 逻辑回归假设因变量 y 服从二项分布，而线性回归假设因变量 y 服从高斯分布。 因此与线性回归有很多相同之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。 可以说，逻辑回归是以线性回归为理论支持的，但是逻辑回归通过Sigmoid函数引入了非线性因素，因此可以轻松处理0/1分类问题。 换种说法： 线性回归，直接可以分为两类， 但是对于图二来说，在角落加上一块蓝色点之后，线性回归的线会向下倾斜，参考紫色的线， 但是logistic回归（参考绿色的线）分类的还是很准确，logistic回归在解决分类问题上还是不错的 3.logistic回归的原理 Sigmoid函数： 曲线： 我们希望随机数据点被正确分类的概率最大化，这就是最大似然估计。 最大似然估计是统计模型中估计参数的通用方法。 你可以使用不同的方法（如优化算法

本文链接：https://blog.csdn.net/weixin_43013761/article/details/102869562 以下链接是个人关于MVSNet(R-MVSNet)-多视角立体深度推导重建 所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：a944284742相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。 3D点云重建0-00：MVSNet(R-MVSNet)–目录-史上最新无死角讲解：https://blog.csdn.net/weixin_43013761/article/details/102852209 前言 在进行论文翻译和讲解之前，我要给大家说清楚一些事情MVSNet（2018），R-MVSNet（2019）分别各自都对应有自己的论文，也就是有两篇，我首先为大家讲解的是第一篇，也就是MVSNet，后面再给大家讲解R-MVSNet。那么我们就开始把。 摘要 他讲他们提出了一种，从多个视觉图片进行深度图推导的方法，并且可以进行端到端的学习训练。再这个网络中，他们首先从输入图像提取特深度图特征，然后结合多个稍微有点不同的，单应性锥形特征图去构建3D cost volume（这里保存的信息，主要是视觉差的信息），下面就是对这个立体特征进行3D卷积，让立体特征更加有序，并且生成最初始的深度图