windows 7 ip地址信息保存在哪个文件里_大数据分布式文件系统 HDFS原理详解1、HDFS有什么作用2、机架感知策略的实现机制3、HDFS的系统结构4、数据块——block5、 namenode6、datanode7、HDFS数据的写入过程8、HDFS数据的读取过程

59 阅读 0 评论 39 点赞

HDFS是Hadoop Distribute File System 的简称，也就是Hadoop的一个分布式文件系统。

1、HDFS有什么作用

1)高容错：提供较高的容错率，因为数据有备份，通过机架感知策略，namenode会尽量将数据的复本放到不同的机架上，所以小规模的宕机不影响数据的存储。对于网络的就近原则，先近再远，如果有多个机架，会在多个机架建立副本。

宕机：操作系统无法从一个严重系统错误中恢复过来，或系统硬件层面出问题，以致系统长时间无响应，而不得不重新启动计算机的现象。

2)成本低：可以使用低成本的硬件搭建一个分布式文件系统。

3)规模大：能提供大规模的数据存储，上TB、PB级的规模。

4)高吞吐：高吞吐的数据访问，获得一个完整的数据可以从多个机器上同时读取。

5)读取方式多样：计算时数据读取的方式多采用本地化方式，如果本地化方式不满足则采用临近网络的方式，这也是通过机架感知策略。

默认情况下，Hadoop机架感知是没有启用的，需要在NameNode机器的hado

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。