R语言进行词云统计分析

允我心安 提交于 2020-12-15 02:20:53

R语言进行词云统计分析

本文章从爬虫、词频统计、可视化三个方面讲述了R语言的具体应用,欢迎大家共同谈论学习

1、使用 rvest 进行数据的爬取

#如果没有,先安装rvest包
install.packages("rvest")
library(rvest)
url <- "http://www.sohu.com/a/123426877_479559"
#读取数据,规定编码
web <- read_html(url, encoding = "utf-8")
position <- web %>% html_node("article.article") %>% html_text()
  • %>%管道函数,将左边的值赋给右边函数作为第一个参数的值
  • web存储网页信息的变量。
  • html_nodes()函数获取网页里的相应节点
  • html_text()函数获取标签内的文本信息

要获取网页中的节点,打开所要爬取网页内容——>按F12——>找到内容所对应的网页节点

2、使用jiebaR进行分词,统计词频

#install.packages("jiebaR")
library(jiebaR)
#初始化分词引擎并加载停用词
#user表示需要组合到一起的单词
#stop_word删除不需要出现的词
engine_s <- worker(user = "E:/R-Test/dictionary.txt", stop_word = "E:/R-Test/stopwords.txt")
#分词处理
seg<-segment(position, engine_s)
#统计词频
f <- freq(seg)
#根据词频降序排列(FALSE升序排列)
f <- f[order(f[2], decreasing = TRUE),]
#显示前30行的数据
head(f, 30)

1)“dictionary.txt”,是指明需要组合到一起的词组,比如说在默认情况下分词的结果可能会将“机器学习”处理成“机器”,“学习”,而我们其实想要的是“机器学习”,所以需要加载此字典表进行指定。注意:此文件的内容是自己指定的,具体内容如下:

机器学习
公众号
互联网
大鳄
大数据

2)“stopwords.txt”,是需要过滤掉的词组,比如“它”、“就是”、“作者”等词对于我们分析没有实际意义,我们就不需要统计他们,具体内容:

是
就是
在
也
你
他
这个
作者
了
我
的
它

3、使用wordcloud2包进行可视化

wordcloud2包的安装就不能像前面的直接使用install.packages("wordcloud2")进行安装了,因为这样的安装的wordcloud2就无法绘制图片和汉字的词云。他需要先安装“devtools”包,具体方法如下:

#安装方法1:
install.packages('devtools')
library('devtools') 
install_github("lchiffon/wordcloud2")
library(wordcloud2)
#安装方法2(在RStudio中执行):
if(!require(devtools)) install.packages("devtools")
devtools::install_github('lchiffon/wordcloud2')

然后就使用词云进行绘图了,这里 shape 的参数有:默认为圆形(circle),cardioid(心形),star(星形),diamond(钻石形),triangle-forward(三角形),triangle(三角形),这两个三角形就是倾斜方向不同而已,pentagon(五边形)。

#为了显示效果,只提取前150个字
f2 <- f[1:150,]
#形状设置为一颗五角星
wordcloud2(f2, size = 0.8, shape = "star"
wordcloud2(f2, size =0.745, shape = "cardioid")
wordcloud2(f2, size =0.9, shape = "diamond")

加载一张图片,让显示图片的样式

#加载一张图片
path <- "E:/R-Test/245937.jpg"
#如果图形不像,调整size的值
wordcloud2(f, size = 0.45, figPath = path)

letterCloud用来显示指定的字母或者汉字,Word参数用于设置绘制词云形状为“”这个字

letterCloud(f2, word = "LOVE", size = 0.7)

【注意】可能我们已经发现,前面图中出现的高频词汇“机器学习”、“算法”等随着我们画出来的图丢失了。那是应该我们后边描绘的图的边太细,而“机器学习”的词频又特别高,所以就显示不出来。因此我们在选择绘图的时候不能为了美观而忽略了高频词

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!