题目1（15分）对spark1.txt文件进行筛选，将A或者包含A的字母筛选出来并统计个数，然后输出到dome1文件中。

文件

给予1个文件【spack01.txt】进行数据分析。

spack01.txt

id	编号	内容
A	B	C
AB	A	B
C	A	B
AB	AB	AB

 代码分析详细版

package com.item.action

import org.apache.spark.{SparkConf, SparkContext}

object Demo1 {
  //分析版
  def main(args: Array[String]): Unit = {
    //题目1:对spark1.txt文件进行筛选，将A或者包含A的字母筛选出来并统计个数，然后输出到dome1文件中。
    //文件路径
    var filePath = "C:\Users\Administrator\Desktop/info.txt"
    //创建add项目，设置项目名称以及读取位置【local】代表本地
    var conf = new SparkConf().setAppName("timu1").setMaster("local")
    //读取配置文件
    var sc = new SparkContext(conf)
    //读取需要分析的文件
    var file = sc.textFile(filePath)
    file.foreach(line=>println(line))
    //获取第一行
    var firstRow = file.first()
      //删除首行
      //_在其中代表每一行数据
      var delFirstRow = file.filter(!_.equals(firstRow))
    delFirstRow.foreach(line=>println(line))
    //去掉

最后

以上就是温婉小兔子为你收集整理的题目1（15分）对spark1.txt文件进行筛选，将A或者包含A的字母筛选出来并统计个数，然后输出到dome1文件中。的全部内容，希望文章能够帮你解决题目1（15分）对spark1.txt文件进行筛选，将A或者包含A的字母筛选出来并统计个数，然后输出到dome1文件中。所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。