import org.apache.spark._
import SparkContext._
object WordCount {
def main(args: Array[String]){
if(args.length != 3){
println("usage: com.qiurc.test.WordCount <master> <input> <output>")
return
}
val sc = new SparkContext(args(0), "WordCount",
System.getenv("SPARK_HOME"), Seq(System.getenv("SPARK_QIUTEST_JAR")))
val textFile = sc.textFile(args(1))
val result = textFile.flatMap(_.split(" "))
.map(word => (word, 1)).reduceByKey(_ + _)
result.saveAsTextFile(args(2))
}
}最后
以上就是凶狠电灯胆最近收集整理的关于Spark读取HDFS文件的全部内容，更多相关Spark读取HDFS文件内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
![[Spark][Python]对HDFS 上的文件，采用绝对路径，来读取获得 RDD](https://file2.kaopuke.com:8081/files_image/reation/bcimg5.png)
发表评论 取消回复