复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Fri Mar 8 18:51:51 2019 @author: lg """ from pyspark import SparkContext ,SparkConf conf=SparkConf().setAppName("miniProject").setMaster("local[1]") #conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077") sc = SparkContext(conf=conf) lines = sc.textFile("data.txt") lineLengths = lines.map(lambda s: len(s)) print (lines.collect()) totalLength = lineLengths.reduce(lambda a, b: a + b) sc.stop()
最后
以上就是务实服饰最近收集整理的关于pyspark 读取本txt 构建RDD的全部内容，更多相关pyspark内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复