忐忑红牛

文章
5
资源
0
加入时间
2年10月18天

hdfs网站服务器,HDFS数据完整性

为了保证数据的完整性,一般采用数据校验技术:1、奇偶校验技术2、md5,sha1等校验技术3、CRC-32循环冗余校验技术4、ECC内存纠错校验技术HDFS数据完整性1、HDFS以透明方式校验所有写入的数据,可以通过io.bytes.per.checksum属性设置,字节数默认是512 字节,创建一个单独的校验和,如果节点检测数据错误,就会报CheckSumException异常。2、除了在读取数...