概述
使用pyspark时报错?
所有的都调试好了,cmd运行pyspark也可以,但在python里的ide运行这一段程序总是报错。
from pyspark import SparkConf, SparkContext
from py4j.java_gateway import JavaGateway
# 初始化Spark
conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf=conf)
print("-----------------2-------------------")
lines = sc.textFile("E:///JinXiejie/spark-2.2.0-bin-hadoop2.7/README.md")
pythonLines = lines.filter(lambda line : "Python" in line)
print("---------------3-----------------")
print
pythonLines.first()
报告错误类型:
C:Python34python.exe E:/JinXiejie/PythonCases/PyDemo/Pydemo.py
-----------------1-------------------
Traceback (most recent call last):
File "E:/JinXiejie/PythonCases/PyDemo/Pydemo.py", line 10, in <module>
sc = SparkContext(conf=conf)
File "C:Python34libsite-packagespysparkcontext.py", line 115, in __init__
SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
File "C:Python34libsite-packagespysparkcontext.py", line 283, in _ensure_initialized
SparkContext._gateway = gateway or launch_gateway(conf)
File "C:Python34libsite-packagespysparkjava_gateway.py", line 80, in launch_gateway
proc = Popen(command, stdin=PIPE, env=env)
File "C:Python34libsubprocess.py", line 859, in __init__
restore_signals, start_new_session)
File "C:Python34libsubprocess.py", line 1112, in _execute_child
startupinfo)
FileNotFoundError: [WinError 2] 系统找不到指定的文件。
Process finished with exit code 1
解决方案:
打开PyCharm,run->edit-Configurations->Environment variables
分别添加PYTHONPATH和SPARK_HOME如下(具体路径为自己电脑spark文件位置):
最后
以上就是冷酷万宝路为你收集整理的使用pyspark时报错--FileNotFoundError: [WinError 2] 系统找不到指定的文件。的全部内容,希望文章能够帮你解决使用pyspark时报错--FileNotFoundError: [WinError 2] 系统找不到指定的文件。所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复