pyspark使用anaconda后spark-submit方法

在使用pyspark提交任务到集群时，经常会遇到服务器中python库不全或者版本不对的问题。此时可以使用参数–archives，从而使用自己的python包来解决。
实验步骤如下：

测试代码使用jieba做分词，但服务器上面没有此库：

import jieba

jieba.initialize()
from pyspark.context import SparkContext
from pyspark.conf import SparkConf

sc = SparkContext(conf=SparkConf().setAppName("mnist_parallelize"))

s = sc.parallelize([1,2,3,4,5])
s.saveAsTextFile('hhc')

将anaconda打包：

zip -r anaconda2.zip anaconda2/

上传到hdfs：

hadoop fs -put anaconda2.zip /user/xxx/tools

python上传后，在进行spark-submit时，会自动分发anaconda2的包到各个工作节点。但还需要给工作节点指定python解压路径：

spark-submit  
--master yarn 
--deploy-mode cluster 
--num-executors 1 
--executor-memory 1G 
--archives hdfs:///user/xxx/tools/anaconda2.zip#anaconda2 
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./anaconda2/anaconda2/bin/python2 
test.py

注：此时应特别注意解压路径，在anaconda2.zip在本地解压后，python的可执行路径为anaconda2/bin/python2，但在服务器上面会多一层。

最后

以上就是飞快黑夜为你收集整理的pyspark使用anaconda后spark-submit方法的全部内容，希望文章能够帮你解决pyspark使用anaconda后spark-submit方法所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。