spark统计文件行数

虽然接触大数据2年了，以前对spark使用都是和solr建索引任务，由于目前的工作很少涉及spark了，为了不遗忘，从头开始复习一下spark，不同的是这次记录下来，一来方便自己查阅，二来对于刚入门的同行也算个案例。PS.高手勿喷

1、spark读取文件，统计行数

Intellj idea 开发工具环境就不在介绍了，网上很多教程，唯一需要注意的是你的spark或者scala版本与本地一致即可。

我这里的spark 2.0.0 scala 2.10.6 

package com.kite.spark.demo

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by z.guang on 2018/1/4.
  * ./spark-submit --master spark://xxx:7077 --executor-memory 1G --executor-cores 4 --class com.kite.spark.demo.SparkDemo /home/hdfs/test/sparkdemo/SparkLearningDemo.jar /user/spark/samples/word_sparkexample.txt > sparkdemo.log
  */
object SparkDemo {

  def main(args: Array[String]): Unit = {
    //设置spark的序列号方式
    System.setProperty("spark.serializer","org.apache.spark.serializer.KryoSerializer")
    //初始化spark
    val conf = new SparkConf().setAppName("SparkDemo"

最后

以上就是殷勤睫毛为你收集整理的spark统计文件行数的全部内容，希望文章能够帮你解决spark统计文件行数所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。