我是靠谱客的博主 落后月光,最近开发中收集的这篇文章主要介绍HDFS shell进行HDFS操作启动HDFS操作HDFS的头命令创建文件列出指定的文件和目录新建文件上传文件将本地文件移动到HDFS下载文件查看文件追写文件删除文件或目录显示占用磁盘的大小HDFS中的文件复制HDFS中文件的合并后下载统计,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

文章目录

  • 启动HDFS
  • 操作HDFS的头命令
  • 创建文件
  • 列出指定的文件和目录
  • 新建文件
  • 上传文件
  • 将本地文件移动到HDFS
  • 下载文件
  • 查看文件
  • 追写文件
  • 删除文件或目录
  • 显示占用磁盘的大小
  • HDFS中的文件复制
  • HDFS中文件的合并后下载
  • 统计

启动HDFS

start-dfs.sh

操作HDFS的头命令

hsfs dfs 【命令】
或 hadoop fs 【命令】

创建文件

hadoop fs -mkdir [-p] <path>
[-p] 表示如果没有父目录,先创建父目录

列出指定的文件和目录

hadoop fs -ls [-d][-h][-R] <path>
[-d] 返回path
[-h] 显示文件大小

新建文件

hadoop fs -touchz <path>

上传文件

Hadoop fs -put [-f] <localsrc> <src>
localsrc 本地文件路径
src hdfs路径

将本地文件移动到HDFS

Hadoop fs -moveFromLocal <localsrc> <src>
将本地文件上传到HDFS,并删除本地文件

下载文件

hadoop fs -get <src> <localsrc>

查看文件

Hadoop fs -cat [-ignoreCrc] <src>
hadoop fs -tail [-f] <file>
-ignoreCrc 忽略循环检验失败文件
-f 动态更新显示数据

追写文件

hadoop fs -appendToFile <localsrc> <src>
将本地文件追加到hdfs文件的后面
hadoop fs -appendToFile - <src>
键盘输入追加到HDFS文件后面

删除文件或目录

hadoop fs -rm [-f] [-r] <Src>
-f 如果文件不存在,不显示错误信息
-r/R 递归删除有文件的文件夹

显示占用磁盘的大小

hadoop fs -du [s] [-h] <path>
按字节显示指定目录所占空间大小
-s 显示指定目录下文件的总大小
-h 按照一定的单位显示文件的大小

HDFS中的文件复制

hadoop fs -cp [-f][-p] <Src> <dst>
-f 如果目标文件存在,将强行覆盖
-p 将保存文件的属性

HDFS中文件的合并后下载

hadoop fs
-getmerge [nl] <src> <localdst>

统计

hadoop fs -count [-q][-h]<path>
统计某个目录下 子目录数 与 文件的个数 与 文件大小。
更多命令输入HDFS查看

最后

以上就是落后月光为你收集整理的HDFS shell进行HDFS操作启动HDFS操作HDFS的头命令创建文件列出指定的文件和目录新建文件上传文件将本地文件移动到HDFS下载文件查看文件追写文件删除文件或目录显示占用磁盘的大小HDFS中的文件复制HDFS中文件的合并后下载统计的全部内容,希望文章能够帮你解决HDFS shell进行HDFS操作启动HDFS操作HDFS的头命令创建文件列出指定的文件和目录新建文件上传文件将本地文件移动到HDFS下载文件查看文件追写文件删除文件或目录显示占用磁盘的大小HDFS中的文件复制HDFS中文件的合并后下载统计所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(58)

评论列表共有 0 条评论

立即
投稿
返回
顶部