我是靠谱客的博主 忧伤电源,最近开发中收集的这篇文章主要介绍Hive--HDFS数据和本地数据导入hive表,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

第一种导入适用于在hive建表时指定了HDFS固定路径,一般建表时不指定路径,第二种建表示例见上篇帖子,所以数据导入一般使用第二种方法。

1、HDFS数据导入Hive表以及表修复

a.将数据传到HDFS

#创建文件夹
hadoop fs -mkdir -p /user/hive/warehouse/stg/test/bus_date=20191101
#将本地文件传到hive建表时的hdfs路径下
hadoop fs -put /opt/datas/test.txt(要上传的文件) /user/hive/warehouse/stg/test/bus_date=20191101(上传的目标文件夹)
tips:
若是需要将文件夹数据全部导入,记得在创建的时候少一级目录
eg: hadoop fs -put /root/data/a/b/c/d
/DATA/a/b/c/

b.若存在证明数据上传成功,若不存在执行以下命令

msck repair table stg.test;

2、本地数据导入Hive表

# hive有分区导入
load data local inpath '/home/data/a.txt' into table table1 partition(p_provincecode=834,p_date='20200621');
# hive无分区导入
load data local inpath '/home/data/b.txt' into table table1;

最后

以上就是忧伤电源为你收集整理的Hive--HDFS数据和本地数据导入hive表的全部内容,希望文章能够帮你解决Hive--HDFS数据和本地数据导入hive表所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(38)

评论列表共有 0 条评论

立即
投稿
返回
顶部