R语言与自然语言处理 中文分词

半世苍凉 提交于 2020-01-30 12:12:21

原文学习链接

直接分词

cn = “我爱中国”
worker() -> wk
segment(cn,wk)
[1] “我” “爱” “中国”

词典

查看路径

show_dictpath()
[1] “C:/Users/comma/Documents/R/win-library/3.6/jiebaRD/dict”

对“user.dict.utf8”这个文件进行更改。
使用记事本打开,然后在最后补上词条。
再来进行分词(不过我们要重新定义worker才能更新)

获取更多词典
下面这一段没有懂。
所以我们知道我们想要更多的词典,得到海量能够跟得上时代发展的词。有什么办法?我认为能够得到大量新词的地方,有两个:1.搜索引擎;2.输入法。搜狗输入法在搜狗词胞库中提供了大量的词典(https://pinyin.sogou.com/dict/),大家可以自由下载。不过下载的文件格式是以“.scel”为后缀的,双击一般就给我们的输入法补充了一个词库,但是没法让我们的jiebaR直接利用。幸好jiebaR的作者为我们提供了转格式工具,能够把scel文件直接转化为.utf8格式的文本文件,从而直接对这些词进行利用。具体内容可以参照https://github.com/qinwf/cidian,这里给出懒人加载的版本。

1p_load(devtools,stringi,pbapply,Rcpp,RcppProgress)
2install_github(“qinwf/cidian”)

那么,大家就可以愉快地使用一个简单的函数来进行转格式了:1decode_scel(scel = “细胞词库路径”, output = “输出文件路径”, cpp = TRUE)
关于更多个性化的用法,大家可以去官网查询。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!