nltk

机器学习常用到python的自然语言处理框架NLTK，这个是机器学习的常用包，在使用过程中会遇到不少问题。我会和大家分享在这其中的一些经验。 今天闲来说一下安装，在安装中出现的download错误。 >>> import nltk >>> nltk.download() NLTK Downloader --------------------------------------------------------------------------- d) Download l) List c) Config h) Help q) Quit --------------------------------------------------------------------------- Downloader> l Packages: Error connecting to server: [Errno -2] Name or service not known 经过推测，是服务器无法连接下载服务器地址导致的。 查看一下nltk download配置 Downloader> c Data Server: - URL: <http://nltk.googlecode.com/svn/trunk/nltk_data/index.xml> - 3 Package Collections

在使用Python强大的第三方库nltk进行一些自然语言处理工作的时候遇到了一些困难，折腾一番总算解决。现在在这里记录一下，当作备忘。 网上找到挺多安装nltk的教程，但经测试，好像都是适用于Python2的，对于Python3,就勉为其难了。这里的主要问题是，前辈们分享的nltk_data包是不兼容Python3的。 所以我的解决方案是： 到https://github.com/nltk/nltk_data下载gh-pages分支，里面的Packages就是我们要的资源。（注：截至2016年3月24日时本方案仍有效） 详细情况记录如下： 1.安装nltk。截至今天，安装的是nltk3.2，在有pip这些工具的情况下，安装这些库变得非常简单： pip install nltk 另外官方的安装说明还附带了numpy，一个“赛Matlab的Python开源的数值计算扩展库”，说不定以后用得上： pip install numpy 来源： oschina 链接： https://my.oschina.net/u/3611008/blog/2980365

使用python进行自然语言处理，有一些第三方库供大家使用： ·NLTK（Python自然语言工具包）用于诸如标记化、词形还原、词干化、解析、POS标注等任务。该库具有几乎所有NLP任务的工具。 ·Spacy是NLTK的主要竞争对手。这两个库可用于相同的任务。 ·Scikit-learn为机器学习提供了一个大型库。此外还提供了用于文本预处理的工具。 ·Gensim是一个主题和向量空间建模、文档集合相似性的工具包。 ·Pattern库的一般任务是充当Web挖掘模块。因此，它仅支持自然语言处理（NLP）作为辅助任务。 ·Polyglot是自然语言处理（NLP）的另一个Python工具包。它不是很受欢迎，但也可以用于各种NLP任务。 先由nltk入手学习。 1. NLTK安装 简单来说还是跟python其他第三方库的安装方式一样，直接在命令行运行：pip install nltk 2. 运行不起来？ 当你安装完成后，想要试试下面的代码对一段英文文本进行简单的切分： import nltk text=nltk.word_tokenize("PierreVinken , 59 years old , will join as a nonexecutive director on Nov. 29 .") print(text) 运行结果， 报错如下： ... raise LookupError