Spark MLlib java TF-IDF计算 (spark 1.5.2)

import java.util.Arrays;
import java.util.List;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.mllib.feature.HashingTF;
import org.apache.spark.mllib.feature.IDF;
import org.apache.spark.mllib.feature.IDFModel;
import org.apache.spark.mllib.linalg.Vector;
public class Test {
/*
* tf-idf含义
* TF-IDF是一种特征向量化方法，这种方法多用于文本挖掘，
* 通过算法可以反应出词在语料库中某个文档中的重要性。
* 文档中词记为t，文档记为d , 语料库记为D . 词频TF(t,d) 是词t 在文档d 中出现的次数。
* 文档频次DF(t,D) 是语料库中包括词t的文档数。如果使用词在文档中出现的频次表示词的重要程度，
* 那么很容易取出反例，即有些词出现频率高反而没多少信息量， 如,”a” , “the” , “of” 。
* 如果一个词在语料库中出现频率高，说明它在特定文档集中信息量很低。
* 逆文档频次（inverse document frequency）是词所能提供的信息量的一种度量
*
*/
public static void main(String[] args) {
SparkConf conf = new SparkConf();
conf.setAppName("WordCounter").setMaster("local");
JavaSparkContext sc = new JavaSparkContext(conf);
final HashingTF hashingTF = new HashingTF();
/*
hello mllib
spark
goodBye spark
hello spark
goodBye spark
*/
JavaRDD<String> text = sc.textFile("C:/Users/dulinan/Desktop/spam1.txt");
JavaRDD<Vector> tf = text.map(new Function<String, Vector>() {
@Override
public Vector call(String v1) throws Exception {
return hashingTF.transform(Arrays.asList(v1.split(" ")));
}
});
IDFModel idf = new IDF().fit(tf);
JavaRDD<Vector> tfIdf = idf.transform(tf);
List<Vector> list = tfIdf.collect();
System.out.println(list);
}
}

最后

以上就是魔幻棒棒糖为你收集整理的Spark MLlib java TF-IDF计算 (spark 1.5.2)的全部内容，希望文章能够帮你解决Spark MLlib java TF-IDF计算 (spark 1.5.2)所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。