一，前言
在信息检索与文本挖掘中经常遇见单词的 tf-idf (term frequency - inverse document frequency)，这个值的大小能够体现它在文本集合中的某一个文档里的重要性。
TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，因特网上的搜索引擎还会使用基于链接分析的评级方法，以确定文件在搜寻结果中出现的顺序。
二，什么是TF-IDF
举个例子来说，有一篇100字的短文，其中「猫」这个词出现了3 次。那么这篇短文中「猫」的词频
如果这里有 10000000 篇文章，其中有「猫」这个词的却文章只有 1000个，那么「猫」对应所有文本，也就是整个语料库的逆向文件频率
这里 l o g loglog取 10为底。 这样就可以计算得到「猫」在这篇文章中的
现在假设在同一篇文章中，「是」这个词出现了20次，因此「是」这个字的词频为0.2。如果只计算词频的话，在这篇文章中明显「是」是比「猫」重要的。
但我们还有逆向文件频率，了解到「是」这个字在全部的 10000000 篇文章都出现过了（这样假设可以吗？），那么「是」的逆向文件頻率就是
这样综合下来，「是」这个字的 tf-idf 就只有 0了，远不及「猫」重要。
这样在计算 tf-idf 就可以知道，对于这篇文章，「猫」这个词远比出现更多次的「是」重要。诸如此类出现很多次，但实际上并不包含文章特征信息的词还有很多，比如「这」，「也」，「就」，「是」，「的」，「了」。
那么关于 tf-idf 的解释，这也就是的了。
转载自：https://blog.csdn.net/keeppractice/article/details/107843690
网友评论