殷勤睫毛

文章
4
资源
0
加入时间
2年10月17天

spark统计文件行数

虽然接触大数据2年了,以前对spark使用都是和solr建索引任务,由于目前的工作很少涉及spark了,为了不遗忘,从头开始复习一下spark,不同的是这次记录下来,一来方便自己查阅,二来对于刚入门的同行也算个案例。PS.高手勿喷1、spark读取文件,统计行数Intellj idea 开发工具环境就不在介绍了,网上很多教程,唯一需要注意的是你的spark或者scala版本与本地一致即可。