我是靠谱客的博主 务实服饰,这篇文章主要介绍pyspark 读取本txt 构建RDD,现在分享给大家,希望可以做个参考。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Fri Mar  8 18:51:51 2019

@author: lg
"""

from pyspark import SparkContext ,SparkConf

conf=SparkConf().setAppName("miniProject").setMaster("local[1]")
#conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077")
sc = SparkContext(conf=conf)


lines = sc.textFile("data.txt")
  
lineLengths = lines.map(lambda s: len(s))

print (lines.collect())
totalLength = lineLengths.reduce(lambda a, b: a + b)

sc.stop()

最后

以上就是务实服饰最近收集整理的关于pyspark 读取本txt 构建RDD的全部内容,更多相关pyspark内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(54)

评论列表共有 0 条评论

立即
投稿
返回
顶部