TF-IDF与余弦相似性

末鹿安然 提交于 2020-03-03 23:24:01

TF-IDF算法

"词频"(TF)和"逆文档频率"(IDF)这两个值相乘,就得到了一个词的TF-IDF值。某个词对文章的重要性越高,它的TF-IDF值就越大。所以,排在最前面的几个词,就是这篇文章的关键词。

TF-IDF = TF * IDF

可以看到,TF-IDF与一个词在文档中的出现次数成正比,与该词在整个语言中的出现次数成反比。


余弦相似性

计算两个向量的余弦值,余弦值越接近1,就表明夹角越接近0度,也就是两个向量越相似,这就叫"余弦相似性"。

假定a向量是[x1, y1],b向量是[x2, y2],那么可以将余弦定理改写成下面的形式

余弦的这种计算方法对n维向量也成立。假定A和B是两个n维向量,A是 [A1, A2, ..., An] ,B是 [B1, B2, ..., Bn] ,则A与B的夹角θ的余弦等于:

计算两篇文章的相似性:

    (1)使用TF-IDF算法,找出两篇文章的关键词;

    (2)每篇文章各取出若干个关键词(比如20个),合并成一个集合,计算每篇文章对于这个集合中的词的词频(为了避免文章长度的差异,可以使用相对词频);

    (3)生成两篇文章各自的词频向量;

    (4)计算两个向量的余弦相似度,值越大就表示越相似。


[参考文献]

TF-IDF与余弦相似性的应用(一):自动提取关键词    http://www.ruanyifeng.com/blog/2013/03/tf-idf.html

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!