spark启动中遇到的问题

 1. 

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

16/08/04 17:00:09 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

16/08/04 17:00:09 ERROR GPLNativeCodeLoader: Could not load native gpl library java.lang.UnsatisfiedLinkError: no gplcompression in java.library.path  at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1886)  at java.lang.Runtime.loadLibrary0(Runtime.java:849)  at java.lang.System.loadLibrary(System.java:1088)  at com.hadoop.compression.lzo.GPLNativeCodeLoader.<clinit>(GPLNativeCodeLoader.java:32)  at com.hadoop.compression.lzo.LzoCodec.<clinit>(LzoCodec.java:71)

添加 

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/hadoop/lib/native/

2.

Compression codec com.hadoop.compression.lzo.LzoCodec not found原因是spark-env.sh的配置文件缺少关联hadoop的配置语句

export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/usr/lib/hadoop/lib/native/:/usr/lib/hadoop/lib/*

但是spark1.0+以后不推荐这样，而是应该在spark-default.conf中添加

spark.driver.extraClassPath /usr/lib/hadoop/lib/*

最后

以上就是紧张台灯为你收集整理的spark启动中遇到的问题的全部内容，希望文章能够帮你解决spark启动中遇到的问题所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。