概述
import org.apache.spark._
import SparkContext._
object WordCount {
def main(args: Array[String]){
if(args.length != 3){
println("usage: com.qiurc.test.WordCount <master> <input> <output>")
return
}
val sc = new SparkContext(args(0), "WordCount",
System.getenv("SPARK_HOME"), Seq(System.getenv("SPARK_QIUTEST_JAR")))
val textFile = sc.textFile(args(1))
val result = textFile.flatMap(_.split(" "))
.map(word => (word, 1)).reduceByKey(_ + _)
result.saveAsTextFile(args(2))
}
}最后
以上就是凶狠电灯胆为你收集整理的Spark读取HDFS文件的全部内容，希望文章能够帮你解决Spark读取HDFS文件所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
![[Spark][Python]对HDFS 上的文件，采用绝对路径，来读取获得 RDD](/uploads/reation/bcimg5.png)
发表评论 取消回复