概述
第一种导入适用于在hive建表时指定了HDFS固定路径,一般建表时不指定路径,第二种建表示例见上篇帖子,所以数据导入一般使用第二种方法。
1、HDFS数据导入Hive表以及表修复
a.将数据传到HDFS
#创建文件夹
hadoop fs -mkdir -p /user/hive/warehouse/stg/test/bus_date=20191101
#将本地文件传到hive建表时的hdfs路径下
hadoop fs -put /opt/datas/test.txt(要上传的文件) /user/hive/warehouse/stg/test/bus_date=20191101(上传的目标文件夹)
tips:
若是需要将文件夹数据全部导入,记得在创建的时候少一级目录
eg: hadoop fs -put /root/data/a/b/c/d
/DATA/a/b/c/
b.若存在证明数据上传成功,若不存在执行以下命令
msck repair table stg.test;
2、本地数据导入Hive表
# hive有分区导入
load data local inpath '/home/data/a.txt' into table table1 partition(p_provincecode=834,p_date='20200621');
# hive无分区导入
load data local inpath '/home/data/b.txt' into table table1;
最后
以上就是忧伤电源为你收集整理的Hive--HDFS数据和本地数据导入hive表的全部内容,希望文章能够帮你解决Hive--HDFS数据和本地数据导入hive表所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复