Scala应用篇二：读取同一文件夹中的所有文件，并统计文件中各单词出现频率（spark）

import java.io.File
import scala.io.Source
import collection.mutable.Map
object WordCount {
  def main(args:Array[String]): Unit ={
    val dirfile=new File("/home/hadoop/mydata")//定义一个目标文件夹对象
    val files = dirfile.listFiles//定义一个数组，文件夹中的每个文件作为数组的元素
    val results = Map.empty[String,Int]//定义一个空的映射（k，v），存储统计结果
    for(file <-files){//把每一个文件都遍历赋给file
      val data =Source.fromFile(file)//建立文件操作对象
      val strs = data.getLines().flatMap(s=>s.split(" "))//读取文件文件内容并把文件内容根据空格进行分词，把每个词当做一个元素
      strs foreach{word =>
        if (results.contains(word))
          results(word)+=1 else  results(word)=1
      }//遍历str，若在result映射中key存在该元素，则在对应的value+1,若不存在则在result映射中插入该元素，并把value=1
    }
    results foreach{case (k,v) => println(s"$k:$v")}//遍历统计结果输出
  }

}

涉及函数：

最后

以上就是认真小霸王为你收集整理的Scala应用篇二：读取同一文件夹中的所有文件，并统计文件中各单词出现频率（spark）的全部内容，希望文章能够帮你解决Scala应用篇二：读取同一文件夹中的所有文件，并统计文件中各单词出现频率（spark）所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。