HDFS文件系统的特点

HDFS文件系统，硬盘容量来自各个服务器硬盘容量之和 20+20+20=60（一个硬盘的所有容量不能全部分给HDFS，系统盘也不能分给HDFS）

特点：master/slave架构：主从架构

namenode：主节点，主要用于储存元数据，处理用户请求

datanode：从节点，主要用于储存数据，提供硬盘空间。

分块储存：把把一个大的文件，花城一个个小的block块，在hadoop当中一个block块默认是128MB的大小，

统一的命名空间：对外提供统一的文件访问地址：

hdfs://node01:8020

namenode元数据管理：将所有的元数据信息保存起来，方便统一的查找

datanode数据存储：出磁盘，用于我们的文件数据

副本机制：1280M的文件需要拆成10个block块

副本机制，每个block块都有三个副本，例如：

blk-0001 node01 blk-0001 node02 blk-0001 node03

一次写入，多次读取：hdfs文件系统，适用于频繁读取的情况，不适用于频繁写入的情况.

改变文件，涉及到元数据的改变

HDFS基本命令的使用

ls：查看某一路径下的文件

例如：hdfs dfs -ls /user/hadoop/file1

若为ls -R 则表示递归的查看

mkdir：创建文件夹

hdfs dfs -mkdir /hello/world

hdfs命令行的使用：

hdfs dfs -movefromlocal localDir hdfsDir 将本地磁盘的一个文件上传到hdf

mv : 移动文件的位置，也可以用来重命名

hdfs dfs -mv /hello/install.log (原路径) /hello/install2.log（目标路径）

put：复制（从本地磁盘复制到hdfs系统）

hdfs dfs-put abc.txt /hello

appendToFile:追加命令，追加一个或多个文件

例如：

 hdfs dfs -appendToFile /export/servers/abc.txt  /hello/xxx.txt  (目标路径)

cat ：查看文件里面的内容

 hdfs dfs -cat    /export/servers/abc.txt  

cp：复制（从hdfs到hdfs）

 hdfs dfs -cp /hello/xxx.txt /hello/world.txt

rm:

 hdfs dfs -rm  -r    /hello

chmod:修改文件的读写权限

  hdfs dfs -chmod -R  777  /hello

chmod:修改文件的读写权限

 hdfs dfs -chown -R hadoop:hadoop /test

expunge:

 hdfs dfs -expunge   清空回收站

HDFS的文件配额

HDFS文件配额：

数量限额：

hdfs dfs -mkdir -p /user/root/lisi（绝对路径）  #创建文件夹

hdfs dfsadmin -setQuota 2 lisi  #给该文件夹下面设置最多上传两个文件，上传文件，发现只能上传一个文件

hdfs dfsadmin -clrQuota /user/root/lisi   #清楚文件数量限制

2、空间大小限额：

 hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi  #限制空间大小4LB

 hdfs dfsadmin -clrSpaceQuota  /user/root/lisi  #消除空间限额

查看hdfs文件限额数量

hdfs dfs -count-q-h    /user/root/lisi

HDFS的安全模式

hdfs的安全模式：在我们集群刚刚启动的时候，集群是处于安全模式的，对外不提供任何服务，专门干一件事情，集群的自检

刚启动的前30s默认是处于安全期的

查看安全模式的状态：

hdfs dfsadmin -safemode

关闭：hdfs dfsadmin -safemode get

启动：hdfs dfsadmin -safemode enter

测试写入速度和读取速度

写入速度命令：

   hadoop jar  /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar  TestDFSIO -write -nrFiles 10  -fileSize 10MB

写入的10个命令：

查看写入速度的结果：

  hdfs dfs -text /benchmarks/TestDFSIO/io_write/part-00000

查看测试日志：

  more TestDFSIO_results.log

真实服务器的写入速度在20-30MB之间

读取速度测试：

 hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar  TestDFSIO -read -nrFiles 10 -fileSize 10MB

查看读取测试的报告：

真实服务器读取速度在50M-100M之间

最后

以上就是飞快冰棍为你收集整理的HDFS文件系统的基本使用HDFS文件系统的特点HDFS基本命令的使用HDFS的文件配额HDFS的安全模式测试写入速度和读取速度的全部内容，希望文章能够帮你解决HDFS文件系统的基本使用HDFS文件系统的特点HDFS基本命令的使用HDFS的文件配额HDFS的安全模式测试写入速度和读取速度所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。