spark/hdfs..操作命令，常用

http://blog.csdn.net/lovehuangjiaju/article/details/48577281

1.查看 hdfs 里文件
hadoop fs -ls -R /
2.在 hdfs中新建目录
hadoop fs -mkdir -p /data/wordcount
3.上传文件到hdfs
hadoop fs -put /usr/local/cluster/hadoop/etc/hadoop/slaves /data/wordcount/将slaves文件传到hdfs下的wordcount下。
4.spark 读取hdfs文件
val readli1=sc.textFile("hdfs://hadoop-master:8020/data/wordcount/read.txt")
5. intellij idea spark 开发（参见）
http://blog.csdn.net/u012587561/article/details/52167306

6.进入hdfs： 10.6.3.200:50070

7.hadoop fs -ls hdfs：//10.6.3.200:8020/user/hadoop/output #查看指定目录下的文件和文件夹。/user/hadoop/output是HDFS上的目录，不是本地目录
hadoop fs -cat /data/wordcount/read2/part-00002
#查看文件内容

8./root/spark-1.0.0-bin-2.2.0/bin/spark-submit –master spark://10.6.3.200:7077 –class main.scala.sp –executor-memory 1g spw.jar hdfs://hadoop-master:8020/data/wordcount/1.txt hdfs://hadoop-master:8020/data/wordcount/read2

提交

最后

以上就是孝顺花卷为你收集整理的spark/hdfs..操作命令，常用的全部内容，希望文章能够帮你解决spark/hdfs..操作命令，常用所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。