概率计算

HMM隐马尔科夫模型 ①通俗的理解 首先举一个例子，扔骰子，有三种骰子，第一个是比较常见的6个面 x = [ 1 , 2 , 3 , 4 , 5 , 6 ] x = [1,2,3,4,5,6] x = [ 1 , 2 , 3 , 4 , 5 , 6 ] ，每一个面的概率都是1/6。第二个只有4个面， x = [ 1 , 2 , 3 , 4 ] x = [1,2,3,4] x = [ 1 , 2 , 3 , 4 ] ，每一个面的概率是1/4。第三个有8个面， x = [ 1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 ] x = [1,2,3,4,5,6,7,8] x = [ 1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 ] ，每一个面的概率是1/8。 首先先选择一个骰子，挑到每一个骰子的概率1/3，然后投掷，可以得到 x = [ 1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 ] x = [1,2,3,4,5,6,7,8] x = [ 1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 ] 。最后会得到一堆的序列，比如会得到 O = [ 1 , 5 , 3 , 8 , 6 , 5 , 7 , 2 ] O = [1,5,3,8,6,5,7,2] O = [ 1 , 5 , 3 , 8 , 6 , 5 , 7 , 2 ] 等等

K均值聚类的理解和实现 1. 距离的测度 1.1 欧式距离 1.2 马氏距离 1.2.1 利用马氏距离对数据进行归一化 1.2.2 利用马氏距离进行分类 2. K均值的基本理论 2.1 K均值的原理和实现 2.2 K均值的缺点 2.3 K均值改进 3. 算法实现 3.1 获取样本 3.2 协方差逆阵方根的计算方法 3.3 聚类实验 3.3.1 一般的K均值聚类 3.3.2 基于马氏距离K-means++聚类 3.3.3 基于肘部法则的K-means++聚类 4.参考资料 1. 距离测度 1.1 欧式距离 在 数学中 ， 欧氏距离 或 欧几里德度量 是 欧几里得空间中 两点之间的“普通” 直线距离 。通过这个距离，欧几里德空间成为 度量空间 。相关的 规范 称为 欧几里得范数 。 较早的文献将 度量 指为 毕达哥拉斯度量 。 广义 的欧几里得范数项是 L2范数 或 L2距离 。 通常，对于n维空间来说，欧几里得距离可以表示为： 中的欧式距离如图1.1-1所示： 图1.1-1 中欧几里得距离的表达 标准的欧几里德距离可以是平方的，以便逐渐将更大的重量放置在更远的物体上。在这种情况下，等式变为： 平方欧几里德距离不是一个 度量 ，因为它不满足三角不等式 ; 然而，它经常用于仅需要比较距离的优化问题。 它在 理性三角学 领域也被称为 quadrance 。 1.2 马氏距离

遗传算法 1.简要概述 在几十亿年的演化过程中，自然界中的生物体已经 形成了一种优化自身结构的内在机制，它们能够不 断地从环境中学习，以适应不断变化的环境。对于大多数生物体，这个过程是通过自然选择和有性生殖来完成的。自然选择决定了群体中哪些个体 能够存活并繁殖，有性生殖保证了后代基因的混合 与重组。 演化计算（Evolutionary Computation, EC）是在达尔文（Darwin）的进化论和孟德 尔（Mendel）的遗传变异理论的基础上产生的一种在 基因和种群层次 上 模拟自然界生 物进化过程与机制，进行问题求解的自组织、自适应的随机搜索技术 。它以达尔文进化论的“物竟天择、适者生存”作为算法的进化规则，并结合孟德尔的遗 传变异理论，将生物进化过程中的繁殖（Reproduction）、变异（Mutation）、竞争 （Competition）、选择（Selection）引入到了算法中，是一种对人类智能的演化模拟方法演化计算的主要有 遗传算法、演化策略、演化规划和遗传规划 四大分支。其中，遗传算 法是演化计算中最初形成的一种具有普遍影响的模拟演化优化算法。 遗传算法简称GA（Genetic Algorithms）是1962年由美国Michigan大学的Holland教授提出的模拟自然界遗传机制和生物进化论而成的一种 并行随机搜索最优化方法 。

决策树的优缺点 优点 计算复杂度不高 输出结果容易理解 对中间值的缺失不敏感 可以处理不相关特征数据 缺点 可能会产生过度匹配问题 决策树原理 《机器学习实战》书中讲了二十个问题的游戏的一个例子：就是参与游戏的一方脑子里想着某个事物。其他参与者可以向他提29个问题，但是答案只能用对错来回答。比如最简单的猜数游戏。我心里想一个数是7.然后A说你心里想的数比100小。然后我说正确。然后B说你心里想的数比10大，我说回答错误。然后C、D、E等人继续提问，直到那个数的范围越来越小，直到猜中答案。决策树的工作原理就是这样，用户给出一系列数据，然后给出游戏的答案。 相比于书中给出的邮件的例子，我更喜欢Jack Cui的例子，便于理解。所以下文中所有的例子以Jack Cui的例子为主。 如下就是一个决策树的树状图。决策树的结构主要是由结点和有向边组成。结点分为内部结点和叶结点。内部节点用来表示一个特征或者一个属性。叶结点表示一个类。长方形和椭圆形都是结点。长方形属于内部结点，下面还有分支或者叶结点。椭圆形是叶结点，下面没有分支。是结束。 对上图中的一些元素进行解释： 长方形代表判断模块 椭圆形代表终止模块，用于得到结论 从长方形（判断模块）出来的箭头是分支，可以到达另一个模块或者终止模块 流程图解释 这是一个简单的岳母相亲的分类模型。就是岳母来了先问问你有没有房子车子啊，如果有的话

遗传算法 1.简要概述 在几十亿年的演化过程中，自然界中的生物体已经 形成了一种优化自身结构的内在机制，它们能够不 断地从环境中学习，以适应不断变化的环境。对于大多数生物体，这个过程是通过自然选择和有性生殖来完成的。自然选择决定了群体中哪些个体 能够存活并繁殖，有性生殖保证了后代基因的混合 与重组。 演化计算（Evolutionary Computation, EC）是在达尔文（Darwin）的进化论和孟德 尔（Mendel）的遗传变异理论的基础上产生的一种在 基因和种群层次 上 模拟自然界生 物进化过程与机制，进行问题求解的自组织、自适应的随机搜索技术 。它以达尔文进化论的“物竟天择、适者生存”作为算法的进化规则，并结合孟德尔的遗 传变异理论，将生物进化过程中的繁殖（Reproduction）、变异（Mutation）、竞争 （Competition）、选择（Selection）引入到了算法中，是一种对人类智能的演化模拟方法演化计算的主要有 遗传算法、演化策略、演化规划和遗传规划 四大分支。其中，遗传算 法是演化计算中最初形成的一种具有普遍影响的模拟演化优化算法。 遗传算法简称GA（Genetic Algorithms）是1962年由美国Michigan大学的Holland教授提出的模拟自然界遗传机制和生物进化论而成的一种 并行随机搜索最优化方法 。

本文 转载自简书 ，仅用于个人学习，侵删 YOLO（You Only Look Once）是一种基于深度神经网络的对象识别和定位算法，其最大的特点是运行速度很快，可以用于实时系统。 现在YOLO已经发展到v3版本，不过新版本也是在原有版本基础上不断改进演化的，所以本文先分析YOLO v1版本。 关于 YOLOv2/YOLO9000 的分析理解请移步 YOLO v2 / YOLO 9000 。 对象识别和定位 输入一张图片，要求输出其中所包含的对象，以及每个对象的位置（包含该对象的矩形框）。 图1 对象识别和定位 对象识别和定位，可以看成两个任务：找到图片中某个存在对象的区域，然后识别出该区域中具体是哪个对象。 对象识别这件事（一张图片仅包含一个对象，且基本占据图片的整个范围），最近几年基于CNN卷积神经网络的各种方法已经能达到不错的效果了。所以主要需要解决的问题是，对象在哪里。 最简单的想法，就是遍历图片中所有可能的位置，地毯式搜索不同大小，不同宽高比，不同位置的每个区域，逐一检测其中是否存在某个对象，挑选其中概率最大的结果作为输出。显然这种方法效率太低。 RCNN/Fast RCNN/Faster RCNN RCNN开创性的提出了候选区(Region Proposals)的方法，先从图片中搜索出一些可能存在对象的候选区（Selective Search），大概2000个左右

文章目录 abstract 1.introduction 1.2 条件模型 2.标签偏差问题 3.CRF 提出条件随机场CRF abstract 我们提出了条件随机场，这是一个建立概率模型来分割和标记序列数据的框架。相对于隐马尔可夫模型和随机语法，条件随机场在这类任务中有几个优势，包括能够放松这些模型中做出的强独立性假设。条件随机域也避免了最大熵马尔可夫模型(MEMMs)和其他基于有向图模型的判别马尔可夫模型的基本限制，这些模型可能会偏向于后继状态较少的状态。我们提出了条件随机场的迭代参数估计算法，并将得到的模型在合成和自然语言数据上与HMMs和MEMMs的性能进行了比较。 1.introduction 对序列进行分割和标记的需求出现在许多不同的问题中。隐马尔可夫模型(HMMs)和随机语法（stochastic grammars ）是这类问题的常用概率模型。 生成模型 赋予成对观测序列和标记序列一个联合概率; 参数：最大化似然估计MLE 观察序列：单词–x 标注：词性/ner类型–y 困难： 表示多个相互作用的特征或观测的长期依赖关系是不实际的 解决：条件模型 为了定义观察和标记序列的联合概率，生成模型需要枚举所有可能的观察序列，通常需要一个表示，其中的观察是适合任务的原子实体，如单词或核苷酸。特别是，表示多个相互作用的特征或观测的长期依赖关系是不实际的

激活函数 在第三章《神经元的工作原理》中，我们曾经提到过激活函数。当时使用的是最简单的阶跃函数作为激活函数。 阶跃函数具有不连续、不光滑等不太好的性质，因此实际常用Sigmoid函数作为激活函数。Sigmoid函数的定义和图形如下： Sigmoid函数把可能在较大范围内变换的输入值挤压到(0,1)输出范围内，因此也称为“ 挤压函数 ”(Squashing function)。 其中 ， Sigmoid函数被选为激活函数还有一个很重要的原因是它的 导数很容易计算。 求导过程如下： 先将 稍微变形，有 记 ， 则 其中 根据复合函数求导法则： 若 ，则 为什么要计算激活函数的导数？这个我们在后面《误差反向传播法》一章里解释。 非线性激活函数 （ ） 可以很明显地看出，Sigmoid函数是一个非线性函数。关于线性函数和非线性函数的定义如下： 输出值是输入值的常倍数的函数称为 线性函数 ，用数学式表示为 , 为常数。因此线性函数是一条直线 非线性函数 ，就是指不像线性函数那样呈现出一条直线的函数，比如Sigmoid函数 所有的 激活函数 都是 非线性函数 让我们回顾一下神经网络训练时的具体操作：我们将输入 和它对应的权重 相乘，并将激活函数 应用于该乘积来获取该层的输出，并将激活函数的运算结果作为输入馈送到下一个层。 问题是，为什么我们一定要加上一个非线性的激活函数来处理输入信号呢？

知识点梳理¶ 相关概念（生成模型、判别模型) 先验概率、条件概率 贝叶斯决策理论 贝叶斯定理公式 极值问题情况下的每个类的分类概率 下溢问题如何解决 零概率问题如何解决？ 优缺点 sklearn 自带代码块 from sklearn . naive_bayes import GaussianNB from sklearn . datasets import load_iris import pandas as pd from sklearn . model_selection import train_test_split iris = load_iris ( ) X_train , X_test , y_train , y_test = train_test_split ( iris . data , iris . target , test_size = 0.2 ) clf = GaussianNB ( ) . fit ( X_train , y_train ) print ( "Classifier Score:" , clf . score ( X_test , y_test ) ) 相关概念 生成模型：在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中

一、几何分布 假设某种赌博游戏的胜率为 0.2 ，那么意味着你玩第一次就胜出的概率为 0.2 。 那玩第二次才胜出呢？“玩第二次才胜出”就意味着玩 第一次是失败的 ，而直到第二次才胜出，那么这件事发生的概率就是 0.8×0.2=0.16 。 那么第三次、第四次呢？ 如果用 p 代表某件事发生的概率，则它不发生的概率为 1-p ，我们将此概率称为 q ，于是可以用下式计算任何具有这一性质的概率： 这个公式叫做概率的 几何分布 。变量 X 表示为了取得第一次成功所需进行的试验次数，为了在第 r 次试验时取得成功，首先要 先失败r-1次 。 几何分布同样适用于不等式。 P(X ＞ r) 指的是为了取得第一次成功需要试验 r 次以上的概率。为了让需要进行的试验次数大于 r ，意味着前 r 次试验必须以失败告终。也就是说，将失败概率乘上 r 次就是所求的概率： 利用这个，可以求出 P(X ≤ r) ，即为了取得一次成功而需要尝试 r 次或 r 次以下的概率： 如果一个变量 X 的概率符合几何分布，且单次试验的成功概率为 p ，则可以写作： 几何分布的期望模式 在数学期望已知的情况下，就可以得出试验在成功之前需要试验的次数的期望值。 假设 X~Geo (0.2) ，那么： 如果将 x P (X=x ）的累计总和画成图形： 将 xP (X=x) 的累计总和画成图形后，可以看出，随着 x 的变大