Spark操作hdfs

Windows平台spark连接hadoop集群，并读取hdfs数据

开发工具：idea

数据hdfs：//hdfs://192.168.10:9000/word/

在idea运行地方，选择RUN-->Edit-->program arguments:添加hdfs目录地址，即可运行。

此例子适合调试使用，实际生产环境中最终将程序打包，部署到服务器中通过spark命令进行运行。

package Schema
/**

* 单词个数统计 spark

*/
//import scala.actors.Actor
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
//hdfs://192.168.8.10:9000/word/
object SparkWordCount{
def main(args: Array[String]): Unit = {
println("Hello World!")
//配置信息类
//[*]有多少空闲cpu就开多少线程

val sparkConf = new SparkConf().setAppName("SprakWC").setMaster("local[*]")
//上下文对象

val sparkContext = new SparkContext(sparkConf)
//file表示本地运行，不在集成环境中

val lines = sparkContext.textFile(args(0))
println(lines)
val words:RDD[String] = lines.flatMap(_.split(" "))
val parired :RDD[(String ,Int)] = words.map((_,1))
val reduced:RDD[(String ,Int)] =parired.reduceByKey(_+_)
val res:RDD[(String ,Int)] =reduced.sortBy(_._2,false)//排序，取第二个元素排序

//
res.saveAsTextFile(args(1))
//保存结果

println("结果：",res.collect().toBuffer)
sparkContext.stop()
}
}

最后

以上就是繁荣西牛为你收集整理的Spark操作hdfs的全部内容，希望文章能够帮你解决Spark操作hdfs所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。