基于Pyspark的TF-IDF英文关键词确定一、TF-IDF回顾二、Pyspark注意事项三、具体代码四、结果分析
文章目录一、TF-IDF回顾二、Pyspark注意事项三、具体代码四、结果分析一、TF-IDF回顾TF-IDF（Term Frequency/Inverse Document Frequency，词频-逆文档频率）算法，可以找出文档中的关键词，顾名思义，TF-IDF 分数由两部分组成：第一部分是TF词语频率（Term Frequency），第二部分是IDF逆文档频率（Inverse Document Frequency）。其中计算语料库中文档总数除以含有该词语的文档数量，然后再取对数就是逆文档频
