置信度

Yolo置信度 置信度是每个bounding box输出的其中一个重要参数，作者对他的作用定义有两重： 一重是：代表当前box是否有对象的概率Pr(Object)，注意，是对象，不是某个类别的对象，也就是说它用来说明当前box内只是个背景（backgroud）还是有某个物体（对象）； 另一重：表示当前的box有对象时，它自己预测的box与物体真实的box可能的值，注意，这里所说的物体真实的box实际是不存在的，这只是模型表达自己框出了物体的自信程度。 以上所述，也就不难理解作者为什么将其称之为置信度了，因为不管哪重含义，都表示一种自信程度：框出的box内确实有物体的自信程度和框出的box将整个物体的所有特征都包括进来的自信程度。经过以上的解释，其实我们也就可以用数学形式表示置信度的定义了 来源： CSDN 作者： AIchiNuirou 链接： https://blog.csdn.net/weixin_44523062/article/details/104717799

1. TP、FP、TN、FN的含义 对于一个二分类的预测来说，情况可以描述如下： 真实情况 预测结果 预测为正 预测为反 正例 TP(对正例) FN(错反例) 反例 FP(错正例) TN(对反例) TP( True Positives)：预测它是正样本，预测 对 了； TN( True Negatives)：预测它是负样本，预测 对 了； FP( False Positives)：预测它是正样本，预测 错 了； FN( False Negatives)：预测它是负样本，预测 错 了。 2. Precision（精度，查准率）和Recall（召回率，查全率）的概念 P r e c i s i o n = T P T P + F P Precision=\frac {TP}{TP+FP} P r e c i s i o n = T P + F P T P ​ 理解为：在分类器预测的所有正例中，预测正确的占多少比例（找得准）； R e c a l l = T P T P + F N Recall=\frac {TP}{TP+FN} R e c a l l = T P + F N T P ​ 理解为：一共有这么多正例，分类器找出了其中的百分之多少（找得到）； 由于所有情况组成的全集是 T P + F N + F P + T N TP+FN+FP+TN T P + F N + F P + T

概述 对于多段落的文章来说，我们主要有两种方法 筛选出文章中最有可能包含答案的段落，然后将这个段落送入模型当中，最后得到答案的位置标签 将文本每个段落都送入到模型当中，得到每个段落的答案位置并通过相关算法得到置信度的打分，选择分高的作为答案 在这篇论文中提出了一种结合以上两种方法的模型 从文档中抽取多个段落，并使用了一个能输出全局对错的目标函数，要求模型生成全局正确的输出。 为每个段落计算准确置信度分数。 方法 段落选择 使用基于TF-IDF的段落选择方法 对于单文档来说，我们筛选段落，根据其和问题的TF-IDF余弦相似度打分来进行排序选择哪一段送入到模型进行抽取答案。 对于多文档来说，使用一个相同TF-IDF分数的线性分类器，当文档进入分类器，会根据分类结果决定是否送入到模型进行抽取答案。 处理噪声标签 红色的则是噪声标签，绿色的是正确的答案 在监督式学习中，如果将匹配答案的所有文本范围标记为正确，可能会使得模型最终选择到不包含正确答案的部分。因此，这里使用了一种总和目标函数（summed objective function），优化所有答案标签的可能性，也就是说通过优化选择任何正确答案范围的负对数似然，一次降低选择非必要答案的范围，具体来说就是需要模型独立的预测开始的位置和结束的位置。 模型 模型分为五个部分： embedding：将文本和问题输入到embedding层

目标检测基础 9.4 锚框 目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确地预测目标的真实边界框（ground-truth bounding box）。不同的模型使用的区域采样方法可能不同。这里我们介绍其中的一种方法：它以每个像素为中心生成多个大小和宽高比（aspect ratio）不同的边界框。这些边界框被称为锚框（anchor box）。我们将在后面基于锚框实践目标检测。 9.4.1 生成多个锚框 假设输入图像高为 h，宽为w。我们分别以图像的每个像素为中心生成不同形状的锚框。设大小为s∈(0,1]且宽高比为r>0，那么锚框的宽和高将分别为wsr和hs/r。当中心位置给定时，已知宽和高的锚框是确定的。 下面我们分别设定好一组大小s1,…,sn和一组宽高比r1,…,rm。如果以每个像素为中心时使用所有的大小与宽高比的组合，输入图像将一共得到whnm个锚框。虽然这些锚框可能覆盖了所有的真实边界框，但计算复杂度容易过高。因此，我们通常只对包含s1或r1的大小与宽高比的组合感兴趣，即 (s1,r1),(s1,r2),…,(s1,rm),(s2,r1),(s3,r1),…,(sn,r1). 也就是说，以相同像素为中心的锚框的数量为n+m−1。对于整个输入图像，我们将一共生成wh(n+m−1)个锚框。

目标检测基础 GoogLeNet：每个Inception块里有四条并行线路 目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确地预测目标的真实边界框（ground-truth bounding box）。 锚框(anchor box)是以每个像素为中心生成多个大小和宽高比(aspect ratio)的边界框。对于n个 大小 s和m个 宽高比 ，锚框全部画上去会很多，所以我们一搬只选取含 s 1 s_1 s 1 ​ 或 r 1 r_1 r 1 ​ 的，共n-+m-1个组合。整张图象，则有 h × w × ( n + m − 1 ) h×w×(n+m-1) h × w × ( n + m − 1 ) 个。 大小是锚框大小除以图片大小。宽高比是宽除以高，宽高比越小，图越高，越瘦。 MultiBoxPrior函数中输出的特征图张量为[N, C, H, W]。 从大小比例、宽高比到四个顶点坐标需要换算一下。 Jaccard系数为 J ( A , B ) = ∣ A ∩ B ∣ ∣ A ∪ B ∣ J(A,B)=\frac{\left | A\cap B \right |}{\left | A\cup B \right |} J ( A , B ) = ∣ A ∪ B ∣ ∣ A ∩ B ∣ ​ ，此处用来衡量像素的重合。

1. 搞懂关联规则中的几个重要概念：支持度、置信度、提升度； 2. Apriori 算法的工作原理； 3. 在实际工作中，我们该如何进行关联规则挖掘。 一、搞懂关联规则中的几个概念(支持度、置信度、提升度) Apriori 算法的核心就是理解频繁项集和关联规则。在算法运算的过程中，还要重点掌握对 支持度、置信度和提升度的理解。 超市购物的例子，下面是几名客户购买的商品列表： 1.1、什么是支持度呢？ 支持度是个百分比，它指的是某个商品组合出现的次数与总次数之间的比例。支持度越 高，代表这个组合出现的频率越大。 在这个例子中，我们能看到“牛奶”出现了 4 次，那么这 5 笔订单中“牛奶”的支持度就 是 4/5=0.8。 同样“牛奶 + 面包”出现了 3 次，那么这 5 笔订单中“牛奶 + 面包”的支持度就是 3/5=0.6。 1.2什么是置信度呢？ 它指的就是当你购买了商品 A，会有多大的概率购买商品 B，在上面这个例子中： 置信度（牛奶→啤酒）=2/4=0.5，代表如果你购买了牛奶，有多大的概率会购买啤酒？ 置信度（啤酒→牛奶）=2/3=0.67，代表如果你购买了啤酒，有多大的概率会购买牛奶？ 我们能看到，在 4 次购买了牛奶的情况下，有 2 次购买了啤酒，所以置信度 (牛奶→啤酒)=0.5，而在 3 次购买啤酒的情况下，有 2 次购买了牛奶，所以置信度（啤酒→牛奶）=0.67。

关联规则挖掘的目标是发现数据项集之间的关联关系或相关关系，是数据挖掘中的一个重要的课题。 先简单介绍一下关联规则挖掘中涉及的几个基本概念： 定义1：项与项集 数据库中不可分割的最小单位信息，称为项目，用符号i表示。项的集合称为项集。设集合I={i1, i2, ..., ik}是项集，I中项目的个数为k，则集合I称为k项集。 定义2：事务 设I={i1, i2, ..., ik}是由数据库中所有项目构成的集合，一次处理所含项目的集合用T表示，T={t1, t2, ..., tn}。每一个包含ti子项的项集都是I子集。 定义3：项集的频数（支持度计数） 包括项集的事务数称为项集的频数（支持度计数）。 定义4：关联规则 关联规则是形如X=>Y的蕴含式，其中X、Y分别是I的真子集，并且X∩Y=Ø。X称为规则的前提，Y称为规则的结果。关联规则反映X中的项目出现时，Y中的项目也跟着出现的规律。 定义5：关联规则的支持度（Support） 关联规则的支持度是交易集中同时包含的X和Y的交易数与所有交易数之比，记为support(X=>Y)，即support(X=>Y)=supportX∪Y=P(XY)。支持度反映了X和Y中所含的项在事务集中同时出现的概率。 定义6：关联规则的置信度（Confidence） 关联规则的置信度是交易集中包含X和Y的交易数与所有包含X的交易数之比

本文 转载自简书 ，仅用于个人学习，侵删 YOLO（You Only Look Once）是一种基于深度神经网络的对象识别和定位算法，其最大的特点是运行速度很快，可以用于实时系统。 现在YOLO已经发展到v3版本，不过新版本也是在原有版本基础上不断改进演化的，所以本文先分析YOLO v1版本。 关于 YOLOv2/YOLO9000 的分析理解请移步 YOLO v2 / YOLO 9000 。 对象识别和定位 输入一张图片，要求输出其中所包含的对象，以及每个对象的位置（包含该对象的矩形框）。 图1 对象识别和定位 对象识别和定位，可以看成两个任务：找到图片中某个存在对象的区域，然后识别出该区域中具体是哪个对象。 对象识别这件事（一张图片仅包含一个对象，且基本占据图片的整个范围），最近几年基于CNN卷积神经网络的各种方法已经能达到不错的效果了。所以主要需要解决的问题是，对象在哪里。 最简单的想法，就是遍历图片中所有可能的位置，地毯式搜索不同大小，不同宽高比，不同位置的每个区域，逐一检测其中是否存在某个对象，挑选其中概率最大的结果作为输出。显然这种方法效率太低。 RCNN/Fast RCNN/Faster RCNN RCNN开创性的提出了候选区(Region Proposals)的方法，先从图片中搜索出一些可能存在对象的候选区（Selective Search），大概2000个左右

相关概念 1.关联分析 全球零售巨头沃尔玛分析消费者购物行为时偶然发现男性顾客同时购买啤酒和尿布的比例较高，于是通过将啤酒和尿布捆绑销售的方式提高了两者的销量。这种用于发现隐藏在大型数据集中的有意义联系的分析方法即是关联分析 association analysis ，所发现的规则可以用关联规则 association rule 或频繁项集的形式表示： { 尿布 } → { 啤酒 } \{\text{尿布}\} \rightarrow\{\text{啤酒}\} { 尿布 } → { 啤酒 } 2.购物篮数据 许多企业在日复一日的运营中积累了大量的数据，比如商店收银台每天收集的大量顾客购物数据。有一类数据，每一行对应着一个事务，这类数据通常被称为购物篮数据 market basket transactiontcd 3.二元表示 购物篮数据可以用二元形式表示，其中每个事务中有多个项。项可以用 二元变量 表示，如果项在事务中出现则它的值为1，否则为0。 因为通常认为项在事务中出现比不出现更重要，所以项是非对称 asymmetric 二元变量。 典型的购物篮数据及其二元表示如下： 4.项集和支持度计数 令 I = { i 1 , i 2 , . . . , i d } I=\{i_1,i_2,...,i_d\} I = { i 1 ​ , i 2 ​ , . . . , i d ​ }

ID milk bread butter beer diapers 1 1 1 0 0 0 2 0 0 1 0 0 3 0 0 0 1 1 4 1 1 1 0 0 5 0 1 0 0 0 支持度（Support） sum(x) sup(x) = -------- N 譬如在上面的示例数据库中，{beer, diaper} 的支持度为 1/5 = 0.2。5 条事务中只有一条事务同事包含 beer和 diaper ， 实际使用中我们会设置一个最低的支持度（minimum support）， 那些大于或等于最低支持度的 X 称之为频繁的 item-set 。 置信度（Confidence） 置信度表示为规则 X ⇒ Y 在整个 T 中出现的频率。而置信度的值表示的意思是在包含了 X 的条件下， 还含有 Y 的事务占总事务的比例。同样假定 T 中含有 N 条数据， 那么置信度的计算公式为： sup(xUY) conf(x=>f)= -------- sup(x) 譬如再上面的示例数据库中，{beer, diaper} 的置信度为 0.2/0.2 = 1。表面在所有包含 beer 的事务中都会一定包含 diaper。 同样的，在实际使用中我们会设置一个最低置信度，那些大于或等于最小置信度的规则我们称之为是有意义的规则。 相关性度量 有时候使用支持度和置信度挖掘到的规则可能是无效的。