crf

在 【上篇】 里，我们介绍了地理文本处理技术在高德的整体演进，选取了几个通用query分析的点进行了介绍。下篇中，我们会选取几个地图搜索文本处理中特有的文本分析技术做出分析，包括城市分析，wherewhat分析，路径规划，并对未来做一下展望。 四、query分析技术演进 4.1 城市分析 在高德地图的检索场景下，从基础的地图数据索引、到在线召回、最终产品展示，均以市级别行政单位为基础粒度。一次完整的检索需求除了用户输入的query外，还会包含用户的图面城市以及用户位置城市两个城市信息。 通常，大多数的搜索意图都是在图面或者用户位置城市下，但是仍存在部分检索意图需要在其他城市中进行，准确的识别出用户请求的目标城市，是满足用户需求的第一步，也是极其重要的一步。 在query分析策略流程中，部分策略会在城市分析的多个结果下并发执行，所以在架构上，城市分析的结果需要做到少而精。同时用户位置城市，图面城市，异地城市三个城市的信息存在明显差异性，不论是先验输出置信度，还是用后验特征做选择，都存在特征不可比的问题。 在后验意图决策中，多个城市都有相关结果时，单一特征存在说服力不足的问题，如何结合先验置信度和后验的POI特征等多维度进行刻画，都是我们要考虑的问题。 原始的城市分析模块已经采用先验城市分析和后验城市选择的总体流程 但是原始的策略比较简陋，存在以下问题： 问题1

前段时间写了 中文分词的一些记录 里面提到了CRF的分词方法，近段时间又研究了一下，特把方法写下来，以备忘，另外，李沫南同学优化过CRF++，见： http://www.coreseek.cn/opensource/CRF/ 。 我觉得CRF++还有更大的优化空间，以后有时间再搞。 1 下载和安装 CRF的概念，请google，我就不浪费资源啦。官方地址如下：http://crfpp.sourceforge.net/ 我用的是Ubutnu，所以，下载的是源码：http://sourceforge.net/projects/crfpp/files/ 下载 CRF++-0.54.tar.gz 没有gcc/g++/make请安装 % ./configure % make[ 如果path.h报错 加上#inlcude<iostream>头文件 ] % sudo make install 2 测试和体验 在源码包中有example，可以执行./exec.sh体验一下 exec.sh #训练和测试脚本 template #模板文件 test.data #测试文件 train.data #训练文件 可以打开看看 3 语料整理和模板编写 我采用的是6Tag和6Template的方式 S，单个词；B，词首；E，词尾；M1/M2/M，词中 1个字的词： 和 S 2个字的词(注意是实际上是一个字一行

在平时工作中经常用到条件随机场（CRF）进行任务处理，比如做一些标注工作和命名实体识别工作。自己比较常用的工具就是CRF++。下载地址为：https://code.google.com/p/crfpp/（此下载地址已不可用）。官网地址为：https://taku910.github.io/crfpp/ windows下面直接使用即可， Linux 需要做一些编译任务。下载后解压缩进入目录。 运行命令./configure 提示如下错误 需要先安装gcc。 执行命令 sudo apt-get install g++ 接着执行命令 make 会再次出现错误： error while loading shared libraries: libcrfpp.so.0: cannot open shared object file: No such file or directory 这时需要在配置文件中做一下修改。 修改文件/etc/ld.so.conf文件 在里面加入include /usr/local/lib 形如下图 之后执行命令 /sbin/ldconfig -v刷新lib库 操作完成后，回到CRF++目录，执行命令 make install完成安装。 来源： CSDN 作者： weixin_34354945 链接： https://blog.csdn.net/weixin

小编在暑假实在没有什么事情，想着用crf++进行分词玩玩。用window版 CRF++很容易进行，并生成model。但真正的运用是用对model 进行加载。小编捣鼓了将近4个小时，终于实现了python调用model。并成功进行分词。下面小编带领大家来踩一下坑。。。。 首先：找网上的参考，很多都意义不大，好多都是unbantu的，但是小编的系统是windows 啊。。。找资源半小时终于找到一篇很重要的博客。。。 https://blog.csdn.net/lilong117194/article/details/81204349 一定要按照博客进行配置。 第二，将第一步弄完进行加载python代码。 小编直接上代码了。。 import codecs import sys import CRFPP crf_model=”自己model路径” def crf_segmenter(input_file, output_file, tagger): input_data = codecs.open(input_file, ‘r’, ‘utf-8’) output_data = codecs.open(output_file, ‘w’, ‘utf-8’) for line in input_data.readlines(): tagger.clear() for word in line

1、下载Linux版的 CRF++ ，在wondows下import CRFPP，需要现在linux版的CRF++中编译 2、在CRF++-0.58（linux版）\python文件下打开cmd命令窗口，以此执行： python setup.py build python setup.py install 3、将CRF++中的libcrfpp.dll复制到anaconda\Lib\site-packages文件中或python\Lib\site-packages文件中 4、import CRFPP正常 来源： CSDN 作者： allan2222 链接： https://blog.csdn.net/allan2222/article/details/90664957

使用Windows版CRF++的python接口时，import CRFPP出错，提示没有这个模块。 原因：模块缺失，这个模块需要我们自己编译出来。 解决方法： (1)Anaconda或者是python需要是32的程序(32位的程序可以在32位/64位的机器上运行，而64的程序只能在64位的机器上运行)，具体原因未知。 (2)python编译一些模块需要VS的支持。C:\Python34\Lib\distutils 目录下有个 msvc9compiler.py，打开它，找到 “def find_vcvarsall(version):”函数，将toolskey = "VS%0.f0COMNTOOLS" % version改为与VS对应的toolskey，如VS2015的改为toolskey = "VS140COMNTOOLS"。 (3)编译是在Linux版的CRF++中完成。虽然我们要使用的Windows版的CRF++,但此步骤中，我们需要Linux版的CRF++,两个版本的下载连接为：http://download.csdn.net/detail/jerryfy007/9870402 (4)添加编译需要的一些文件。cd 到Linux版CRF++的 CRF++Linux\CRF++-0.58\python 目录，添加一些编译用的文件，后续的编译也在此目录进行。 crfpp.h文件。

本文方法较为麻烦，大家可以使用python3版本的crf++的python封装版， pip3 install crfpy ,这个包是可以用的，并且同时支持windows和linux，win7可能会有少许bug！ 因为做毕业设计要用到crf++和python，熬了将近四个小时，终于把问题都给解决了，简单说一下思路： 第一步 你会缺少crfpp.h，直接从/CRF++-0.58目录下复制过来就行 第二步 你会缺少crfpp.lib 需要自己vs编译生成比较麻烦 我已生成好了，可直接使用 第三步 你会缺少pthread.lib 也是直接提供文件下载就行 第四步 python setup.py build python setup.py install 正常运行，但import CRFPP调用时提示缺少dll,此时复制windows包下的/CRF++-0.58的libcrfpp.dll到python\Lib\site-packages目录下即可 此时配置完成 你需要一个模型去测试程序test.py 上边文件我已上传 点击打开链接 ps： <strong>测试运行环境：vs2013,python2.7.13 32位,win8.1 64位</strong> 来源： CSDN 作者： lytk1 链接： https://blog.csdn.net/lytk1/article/details

CRF++ :一款基于c++高效实现CRF的工具。在基于条件随机场的命名实体识别时，用到CRF++，而且提供了python接口，可以使用命令行来执行，但配置了python接口就可以在任意文件夹下运行文件了。非常有必要。 好，接下来讲讲我的跳坑之旅。 初时crfpp一脸懵，并不知道干啥的，环境也不像第三库一样好装易用，但是人家功能强大，没办法，只能勉强上手。 因为涉及到机器学习，大部分程序都在Linux环境下跑，so准备在服务器上装一下。 Linux环境安装之旅： 首先你的Linux环境上得安装gcc3.0以上版本，相当于在Linux上的visual studio，具体安装过程不详述。 测试环境是否装gcc以及版本： 输入 gcc -v 若出现版本信息则说明安装成功。 这里我下载了一个mingw-get-setup，据说是在Windows上安装gcc，安装后发现不会使，也研究不明白，果断弃之安装了vs2015。 在这贴出链接，给有需要的伙伴分享。 链接： https://pan.baidu.com/s/108FZcpftlMPGApT6hMUEKw 提取码：4ri5 下载crfpp https://github.com/taku910/crfpp 直接下压缩包，解压后放到文件夹下。 当然，你也可以直接在服务器上下载，不过速度可能偏慢，若服务器有流量限制也不太好操作