Hive数据存储解析

1. Hive元数据信息表

Hive元数据信息表详解

TBLS表：

SDS表：该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。

COLUMNS_V2表：该表存储表对应的字段信息

• Hive表select查询先将存在hdfs中的文件内容都读取出来，再根据设定的表字段分隔符对每行数据进行分列，最后再根据COLUMNS_V2中记录的INTEGER_IDX和COLUMN_NAME对select出来的数据加列名

• 在使用load命令将文件数据导入Hive表时，不会检查文件中数据类型是否符合Hive表中设置字段类型，只有在进行select等操作时，才会根据COLUMNS_V2中的TYPE_NAME对其进行校验

• Hive表字段删除操作
  了解到每个表在COLUMNS_V2中记录的INTEGER_IDX字段只会递增，而且是连续的，即不会出现1-7这7个数据中，缺一个2的情况

示例：
建表：create table t2(id int,c1 string,c2 string,c3 sting,c4 string,c5 string);

删除t2表中的c2字段，hive不支持 alter table t2 drop column c2的语法
可使用alter table t2 replace columns(id int,c1 string,string c3,string c4,string c5)语法，前提是刚好t2中第2、3、4、5字段的类型相同，该replace操作能够成功，replace命令的实质是删除表最后一个字段，给位置往前挪了的字段重命名

所以对于T3(int id,c1 string,c2 int,c3 string);要删除c2字段，用alter table T3 replace columns (int id,c1 string c3 string)就不成功，得先修改c2的类型为string，再做replace操作

最后

以上就是帅气煎饼为你收集整理的Hive数据存储解析的全部内容，希望文章能够帮你解决Hive数据存储解析所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。