第一种导入适用于在hive建表时指定了HDFS固定路径,一般建表时不指定路径,第二种建表示例见上篇帖子,所以数据导入一般使用第二种方法。
1、HDFS数据导入Hive表以及表修复
a.将数据传到HDFS
#创建文件夹
hadoop fs -mkdir -p /user/hive/warehouse/stg/test/bus_date=20191101
#将本地文件传到hive建表时的hdfs路径下
hadoop fs -put /opt/datas/test.txt(要上传的文件) /user/hive/warehouse/stg/test/bus_date=20191101(上传的目标文件夹)
tips:
若是需要将文件夹数据全部导入,记得在创建的时候少一级目录
eg: hadoop fs -put /root/data/a/b/c/d
/DATA/a/b/c/
b.若存在证明数据上传成功,若不存在执行以下命令
msck repair table stg.test;
2、本地数据导入Hive表
# hive有分区导入
load data local inpath '/home/data/a.txt' into table table1 partition(p_provincecode=834,p_date='20200621');
# hive无分区导入
load data local inpath '/home/data/b.txt' into table table1;
最后
以上就是忧伤电源最近收集整理的关于Hive--HDFS数据和本地数据导入hive表的全部内容,更多相关Hive--HDFS数据和本地数据导入hive表内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复