1. HFile详解

HFile文件分为以下六大部分

1.1.数据块详解

数据块组成图如下：

数据块部分由多个block块组成，每个数据块由块头 + 多个cell(key-value对)集合组成，如上图。每个数据块的大小在创建表的列族的时候可以指定，默认为（64 * 1024）。

1.         块大小的设定由HColumnDescriptor.setBlockSize(int)指定，默认（64 * 1024）。

2.        块大小设置，块设置的越小，访问速度越快，但数据块索引越大，消耗的内存越多。因为在加载HFile时会把数据块索引全部加载到内存中。

数据块组成说明：

1.         Data Block Magic – 数据块头，8字节，固定字节如下：{'D', 'A', 'T', 'A', 'B', 'L', 'K', 42 }。

2.         key长 – 4字节整型，记录每个cell的key的长度。

3.         value长 – 4字节整型，记录每个cell的value的长度。

4.         key – cell的key值，byte[]类型，组成如下：

rowKey的长（2字节）+ rowKey + family的长（1字节） + family + qualify + timestampe(8字节)  + keyType类型（1字节）

1） rowKey的长度不能大于0x7fff(32767).

2） rowKey不能为空。

3） family(列族)的长度不能大于0x7f(127)

4） qualify(限定符)的长度不能大于（0x7fffffff(2147483647) – row长度 – family长度）。

5.         value – cell的value值，byte[]类型，value值不能为空。

例如：在hbase中有一个表（student）,其中有一个列族（info），该列族不压缩。其中的rowkey用学号表示，现在插入一个记录（rowkey='033', qualify='age', value='19'）。那么该记录将被表示成一个cell(key-value对)保存到HFile中，那么该cell在HFile中的内容如下:

问题：

1.       块大小的设置策略？

2.       keyType的说明？

3.       compress压缩的说明？

1.2.元数据块详解

每个元数据是key-value类型的值，新增的元数据会按照从小到大的顺序排序。

在StoreFile中，如果使用BloomFilter,则StoreFile将会把BloomFilter的信息保存到HFile中的元数据中， 元数据块中只保存元数据的value值，key值保存在元数据索引块中。格式如下：

       每个元数据由元数据头+元数据值组成。

1.3.FileInfo详解

fileInfo中保存的信息为key-value类型的值，其中key与value都是byte[]类型。每个新增的值在内部都以值key顺序从小到大进行排序。fileInfo保存了与该HFile相关的一些信息，其中有系统保留的一些固定的值，这些值的key以”hfile.”为前缀。也可以保存用户自定义的一些值，但这些值的key不能以”hfile.”开头。其中系统内部保留的一些值如下：

fileInfo在HFile中的格式如下：

fileInfo各项说明：

1.       filInfo中所有值(key-value对)的个数，整型，四字节。

2.       key值，保存fileInfo中值得key值。在HFile中的组成为

key长+key

其中key长以压缩的整型保存，整型类型包括(byte,short,int,long)，如果该整数用i表示，详细说明如下：

1.      当-112 <= i <= 127 时，用一个字节保存实际值。

2.      其他情况下，第一个字节表示该整型与正负与该整数占字节长度，随后存储的是从该整数补码的高位算起的第一个非0字节的所有值。如果第一个字节为v，详细说明如下：

a)        当-120<=i<=-113时，表示该值为正数，该数所占字节为-(v+112)

b)       当-128<=i<=-121时，表示该值为负数，该数所占字节为-(v+120)

例如：

3.       value值，保存fileInfo中值的value值。在HFile中的组成为

value长+value

其中value长以压缩的整型保存，压缩整型具体格式参考key值中关于压缩整型的说明。

1.4.数据块索引

数据块索引保存的是每一个数据块在HFile文件中的位置、大小信息以及每个块的第一个cell的key值。格式如下：

格式各项说明：

1.       block offset 块在HFile中偏移，long(8字节)。

2.       block size 块大小，int(4字节)。

3.       block first key 块中第一个cell(key-value)值得key.该值的组成为（key的长（压缩整型表示）+key值）

1.5.元数据块索引

该数据块的格式与数据库索引相同，元数据块索引保存的是每一个元数据在HFile文件中的位置、大小信息以及每个元数据的key值。格式如下：

格式各项说明：

1.       meta offset 元信息在HFile中偏移，long(8字节)。

2.       meta size 元信息数据大小，int(4字节)。

3.       meta name 元信息中的key值.该值的组成为（key的长（压缩整型表示）+key值）

1.6.文件尾

文件尾主要保存了该HFile的一些基本信息。格式比较简单，如下：

说明如下：

1.       FileInfo Offset – FileInfo信息在HFile中的偏移。long(8字节)。

2.       DataIndex Offset – 数据块索引在HFile中的偏移。long(8字节)。

3.       DataIndex Count – 数据块索引的个数。int(4字节)。

4.       MetaIndex Offset – 元数据索引块在HFile中的偏移。long(8字节)。

5.       MetaIndex Count – 元数据索引块的个数。int(4字节)。

6.       TotalUncompressedBytes – 未压缩的数据块部分的总大小。long(8字节)。

7.       Entry Count – 数据块中所有cell（key-value）的个数。int(4字节)

8.       Compression Codec – 压缩算法为enum类型，该值表示压缩算法代码。（LZO-0，GZ-1，NONE-2）,int(4字节)

9.       Version – 版本信息。当前该版本值为1. int(4字节)。

================================================================

  因为一直在做hbase的应用层面的开发，所以体会的比较深的一点是hbase的表结构设计会对系统的性能以及开销上造成很大的区别，本篇文章先按照hbase表中的rowkey、columnfamily、column、timestamp几个方面进行一些分析。最后结合分析如何设计一种适合应用的高效表结构。

最后

以上就是魔幻小熊猫为你收集整理的HFile详解1. HFile详解 的全部内容，希望文章能够帮你解决HFile详解1. HFile详解 所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。