crf

前言 　　最近看了语义分割的文章DeepLab，写写自己的感受，欢迎指正。 介绍 　　图像语义分割，简单而言就是给定一张图片，对图片上的每一个像素点分类。 　　图像语义分割，从FCN把深度学习引入这个任务到现在，一个通用的框架已经大概确定了。即前端使用FCN全卷积网络输出粗糙的label map，后端使用CRF条件随机场/MRF马尔科夫随机场等优化前端的输出，最后得到一个精细的分割图。 前端 为什么需要FCN？ 　　分类网络通常会在最后连接几层全连接层，它会将原来二维的矩阵（图片）压扁成一维的，从而丢失了空间信息，最后训练输出一个标量，这就是我们的分类标签。 　　而图像语义分割的输出需要是个分割图，且不论尺寸大小，但是至少是二维的。所以，流行的做法是丢弃全连接层，换上全卷积层，而这就是全卷积网络了。具体定义请参看论文：《Fully Convolutional Networks for Semantic Segmentation》 FCN结构 　　在FＣＮ论文中，作者的FCN主要使用了三种技术： 卷积化（Convolutional） 上采样（Upsample） 跳层连接（Skip Layer） 　　 卷积化 即是将普通的分类网络，比如VGG16，ResNet50/101等网络丢弃全连接层，换上对应的卷积层即可。 　　 上采样 即是反卷积（Deconvolution）

写在前面：在初学nlp时的第一个任务——NER，尝试了几种方法，cnn+crf、lstm+crf、bert+lstm+crf，毫无疑问，最后结果时Bert下效果最好。 1、关于NER： 　　NER即命名实体识别是信息提取的一个子任务，但究其本质就是序列标注任务。 　　eg： 　　sentence：壹 　　叁　 去 参加一个 NER 交 流 会 　　tag:　　　B_PER I_PER O O O O O B_ORG I_ORG I_ORG I_ORG 　　(咱们暂且认为这个实体标记是正确的) 　　按照CoNLL2003任务中，LOC-地名 、PER-人名、ORG-机构名、MISC-其他实体，其他此被标记为O，B代表实体名的开始位置，I代表实体名的中间位置。 （在具体任务中标记不一，按照自己的任务中进行标记即可） 　　NER是一个基础问题，不会不行，但是也是一个非常重要的问题，下面将按照实现过程中碰到的问题依次进行阐述(小白，如有错误，请疯狂留言喷我，一定改正)。 首先的明白NER是一个分类任务，也叫序列标注，其实就是对文本的不同实体标记上对应的标签。 方法主要如下： 基于规则：按照语义学的先验定义规则，由于语言的复杂性，这个方法很难制定出良好的规则； 基于统计学：统计学就是根据大量文本，在其中找到规律，代表作有HMM、CRF； 神经网络：神经网络的大放异彩在各个领域都点亮了一片天空

近几年在自然语言处理领域中，HMM（隐马尔可夫模型）和 CRF（条件随机场）算法常常被用于分词、句法分析、命名实体识别、词性标注等。由于两者之间有很大的共同点，所以在很多应用上往往是重叠的，但在命名实体、句法分析等领域 CRF 似乎更胜一筹。通常来说如果做自然语言处理，这两个模型应该都要了解，下面我们来看看本文的内容。 从贝叶斯定义理解生成式模型和判别式模型 理解 HMM（隐马尔可夫模型）和 CRF（条件随机场）模型之前，我们先来看两个概念：生成式模型和判别式模型。 在机器学习中，生成式模型和判别式模型都用于有监督学习，有监督学习的任务就是从数据中学习一个模型（也叫分类器），应用这一模型，对给定的输入 X 预测相应的输出 Y。这个模型的一般形式为：决策函数 Y=f(X) 或者条件概率分布 P(Y|X)。 首先，简单从贝叶斯定理说起，若记 P(A)、P(B) 分别表示事件 A 和事件 B 发生的概率，则 P(A|B) 表示事件 B 发生的情况下事件 A 发生的概率；P(AB)表示事件 A 和事件 B 同时发生的概率。 根据贝叶斯公式可以得出： 生成式模型：估计的是联合概率分布，P(Y, X)=P(Y|X)*P(X)，由联合概率密度分布 P(X,Y)，然后求出条件概率分布 P(Y|X) 作为预测的模型，即生成模型公式为：P(Y|X)= P(X,Y)/ P(X)

​在上篇里，我们介绍了地理文本处理技术在高德的整体演进，选取了几个通用query分析的点进行了介绍。下篇中，我们会选取几个地图搜索文本处理中特有的文本分析技术做出分析，包括城市分析，wherewhat分析，路径规划，并对未来做一下展望。 四、query分析技术演进 4.1 城市分析 在高德地图的检索场景下，从基础的地图数据索引、到在线召回、最终产品展示，均以市级别行政单位为基础粒度。一次完整的检索需求除了用户输入的query外，还会包含用户的图面城市以及用户位置城市两个城市信息。 通常，大多数的搜索意图都是在图面或者用户位置城市下，但是仍存在部分检索意图需要在其他城市中进行，准确的识别出用户请求的目标城市，是满足用户需求的第一步，也是极其重要的一步。 在query分析策略流程中，部分策略会在城市分析的多个结果下并发执行，所以在架构上，城市分析的结果需要做到少而精。同时用户位置城市，图面城市，异地城市三个城市的信息存在明显差异性，不论是先验输出置信度，还是用后验特征做选择，都存在特征不可比的问题。 在后验意图决策中，多个城市都有相关结果时，单一特征存在说服力不足的问题，如何结合先验置信度和后验的POI特征等多维度进行刻画，都是我们要考虑的问题。 原始的城市分析模块已经采用先验城市分析和后验城市选择的总体流程 但是原始的策略比较简陋，存在以下问题： 问题1：先验和后验两部分均基于规则

how to use gazetteers or dictionaries as features in CRF++ ? To elaborate: suppose I want to do NER on person names, and I am having a gazetteer (or dictionary) containing commonly seen person names, I want to use this gazetteer as an input to crf++, how can I do that? I am using the conditional random field package crf++ to perform named entity recognition tasks. I know how to represent some commonly used features in crf++. For example, if we want to use Capitalization as a feature, we can add one separate column in the feature template of crf indicating if a word is capitalized or not. You

I am trying to implement some segmentation tool for my images, and I am trying to use conditional random field (CRF) based method. For example, in this paper . The standard CRF energy function includes two parts, i.e., a unary potential and a pairwise potential where L are the class labels and X are the observations (image pixels). I have got some training image with labels of the objects in the image. For example, I have got the ground truth segmentation of the objects in the image with labels. If I want to use texture of these objects as the feature, I am wondering how to implement and do

What is Conditional Random Field ? How does exactly Conditional Random Field identify proper names as person, organization, or place in a structured or unstructured text? For example: This product is ordered by StackOverFlow Inc. What does Conditional Random Field do to identify StackOverFlow Inc. as an organization? A CRF is a discriminative, batch, tagging model, in the same general family as a Maximum Entropy Markov model. A full explanation is book-length. A short explanation is as follows: Humans annotate 200-500K words of text, marking the entities. Humans select a set of features that

​在上篇里，我们介绍了地理文本处理技术在高德的整体演进，选取了几个通用query分析的点进行了介绍。下篇中，我们会选取几个地图搜索文本处理中特有的文本分析技术做出分析，包括城市分析，wherewhat分析，路径规划，并对未来做一下展望。 四、query分析技术演进 4.1 城市分析 在高德地图的检索场景下，从基础的地图数据索引、到在线召回、最终产品展示，均以市级别行政单位为基础粒度。一次完整的检索需求除了用户输入的query外，还会包含用户的图面城市以及用户位置城市两个城市信息。 通常，大多数的搜索意图都是在图面或者用户位置城市下，但是仍存在部分检索意图需要在其他城市中进行，准确的识别出用户请求的目标城市，是满足用户需求的第一步，也是极其重要的一步。 在query分析策略流程中，部分策略会在城市分析的多个结果下并发执行，所以在架构上，城市分析的结果需要做到少而精。同时用户位置城市，图面城市，异地城市三个城市的信息存在明显差异性，不论是先验输出置信度，还是用后验特征做选择，都存在特征不可比的问题。 在后验意图决策中，多个城市都有相关结果时，单一特征存在说服力不足的问题，如何结合先验置信度和后验的POI特征等多维度进行刻画，都是我们要考虑的问题。 原始的城市分析模块已经采用先验城市分析和后验城市选择的总体流程 但是原始的策略比较简陋，存在以下问题： 问题1：先验和后验两部分均基于规则