我是靠谱客的博主 冷酷万宝路,最近开发中收集的这篇文章主要介绍使用pyspark时报错--FileNotFoundError: [WinError 2] 系统找不到指定的文件。,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

使用pyspark时报错?
所有的都调试好了,cmd运行pyspark也可以,但在python里的ide运行这一段程序总是报错。

from pyspark import SparkConf, SparkContext

from py4j.java_gateway import JavaGateway

# 初始化Spark
conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf=conf)
print("-----------------2-------------------")
lines = sc.textFile("E:///JinXiejie/spark-2.2.0-bin-hadoop2.7/README.md")
pythonLines = lines.filter(lambda line : "Python" in line)
print("---------------3-----------------")
print
pythonLines.first()


报告错误类型:
C:Python34python.exe E:/JinXiejie/PythonCases/PyDemo/Pydemo.py

-----------------1-------------------

Traceback (most recent call last):

File "E:/JinXiejie/PythonCases/PyDemo/Pydemo.py", line 10, in <module>

sc = SparkContext(conf=conf)

File "C:Python34libsite-packagespysparkcontext.py", line 115, in __init__

SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)

File "C:Python34libsite-packagespysparkcontext.py", line 283, in _ensure_initialized

SparkContext._gateway = gateway or launch_gateway(conf)

File "C:Python34libsite-packagespysparkjava_gateway.py", line 80, in launch_gateway

proc = Popen(command, stdin=PIPE, env=env)

File "C:Python34libsubprocess.py", line 859, in __init__

restore_signals, start_new_session)

File "C:Python34libsubprocess.py", line 1112, in _execute_child

startupinfo)

FileNotFoundError: [WinError 2] 系统找不到指定的文件。

Process finished with exit code 1


解决方案:
打开PyCharm,run->edit-Configurations->Environment variables


分别添加PYTHONPATH和SPARK_HOME如下(具体路径为自己电脑spark文件位置):

最后

以上就是冷酷万宝路为你收集整理的使用pyspark时报错--FileNotFoundError: [WinError 2] 系统找不到指定的文件。的全部内容,希望文章能够帮你解决使用pyspark时报错--FileNotFoundError: [WinError 2] 系统找不到指定的文件。所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(40)

评论列表共有 0 条评论

立即
投稿
返回
顶部