概述
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Fri Mar 8 18:51:51 2019
@author: lg
"""
from pyspark import SparkContext ,SparkConf
conf=SparkConf().setAppName("miniProject").setMaster("local[1]")
#conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077")
sc = SparkContext(conf=conf)
lines = sc.textFile("data.txt")
lineLengths = lines.map(lambda s: len(s))
print (lines.collect())
totalLength = lineLengths.reduce(lambda a, b: a + b)
sc.stop()
最后
以上就是务实服饰为你收集整理的pyspark 读取本txt 构建RDD的全部内容，希望文章能够帮你解决pyspark 读取本txt 构建RDD所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复