SparkStreaming找不到reduceByKey的解决方法

89 阅读 0 评论 59 点赞

我是靠谱客的博主敏感学姐，最近开发中收集的这篇文章主要介绍SparkStreaming找不到reduceByKey的解决方法，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

本文转自http://www.68idc.cn/help/jiabenmake/qita/20150115172034.html，所有权力归原作者所有。

本文中的问题可能是个很低级的问题，但是对我对Spark程序的认识很可能有巨大影响哦~

今天写了一个SparkStreaming的测试代码，简单的测试流式读取HDFS中的文件，然后统计WordCount。代码如下：packagecom.company.scala.lkimportorg.apache.spark.s

今天写了一个SparkStreaming的测试代码，简单的测试流式读取HDFS中的文件，然后统计WordCount。代码如下：

package com.company.scala.lk import org.apache.spark.streaming._ /** * Created by kai on 15/1/14. */ object SparkStreamingTest { def loadFile(): Unit = { val ssc = new StreamingContext("yarn-client", "streaming test", Seconds(15)) val fileStreaming = ssc.textFileStream("/user/kai") val rs = fileStreaming.flatMap(_.split("t")).map(w => (w, 1)).reduceByKey(_ + _).print() ssc.start() ssc.awaitTermination() } def main(args: Array[String]) { loadFile() } }

IDE里面提示找不到“reduceByKey”方法，但是官方资料里说是有该方法的。当时怀疑是不是Spark的版本太低了，然后各种版本确认之后也没发现问题（我用的Spark1.2.0版本），一时无解。

没办法，上网查吧，最后在Spark的mailing list中找到线索：

%3CCAMwrk0mN-Q=c970+Sa7JnBZHUPRRN_YZHkMHqQYb6jLFw2pmsA@mail.gmail.com%3E

原来是缺少“import StreamingContext._”，Scala会将DStream隐式转换成PairDStreamFunctions，该类中有K/V数据类型相关的函数，例如groupByKey、reduceByKey、join等。

查看Spark的源代码，在StreamingContext文件中找到如下代码：

implicit def toPairDStreamFunctions[K, V](stream: DStream[(K, V)]) (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null) = { new PairDStreamFunctions[K, V](stream) }

可以看到，上面的隐式转换函数会将DStream转换为PairDStreamFunctions。

隐式转换函数需要额外import，否则无法正常转换。

可以直接import转换函数：

import org.apache.spark.streaming.StreamingContext.toPairDStreamFunctions

或者import org.apache.spark.streaming.StreamingContext._

本文出自 “RunningMan” 博客，请务必保留此出处