敏感学姐

文章
5
资源
0
加入时间
3年0月21天

SparkStreaming找不到reduceByKey的解决方法

本文转自http://www.68idc.cn/help/jiabenmake/qita/20150115172034.html,所有权力归原作者所有。本文中的问题可能是个很低级的问题,但是对我对Spark程序的认识很可能有巨大影响哦~今天写了一个SparkStreaming的测试代码,简单的测试流式读取HDFS中的文件,然后统计WordCount。代码如下:packagecom.

NLP小白的Kaggle一轮游总结

博主大三,一月中旬期末考试结束之后都放在这个比赛上面了--Quora Insincere Questions Classification。大半个月过来,做了很多尝试,线下成绩提高了不少,线上LB的成绩还是原地踏步 :)。现在来总结一下自己做过的一些工作,给大家以及自己一些参考反思。如果各路大佬有更好的idea,欢迎骚扰交流~该竞赛是个典型的文本二分类问题,用的是美国的知乎(quora...