我是靠谱客的博主 虚幻飞鸟,最近开发中收集的这篇文章主要介绍sqoop hbase导出mysql_Alex 的 Hadoop 菜鸟教程: 第9课 Sqoop1 从Hbase或者Hive导出mysql,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

hbase(main):005:0> create 'employee','info'

0 row(s) in 0.4740 seconds

=> Hbase::Table - employee

hbase(main):006:0> put 'employee',1,'info:id',1

0 row(s) in 0.2080 seconds

hbase(main):008:0> scan 'employee'

ROW COLUMN+CELL

1 column=info:id, timestamp=1417591291730, value=1

1 row(s) in 0.0610 seconds

hbase(main):009:0> put 'employee',1,'info:name','peter'

0 row(s) in 0.0220 seconds

hbase(main):010:0> scan 'employee'

ROW COLUMN+CELL

1 column=info:id, timestamp=1417591291730, value=1

1 column=info:name, timestamp=1417591321072, value=peter

1 row(s) in 0.0450 seconds

hbase(main):011:0> put 'employee',2,'info:id',2

0 row(s) in 0.0370 seconds

hbase(main):012:0> put 'employee',2,'info:name','paul'

0 row(s) in 0.0180 seconds

hbase(main):013:0> scan 'employee'

ROW COLUMN+CELL

1 column=info:id, timestamp=1417591291730, value=1

1 column=info:name, timestamp=1417591321072, value=peter

2 column=info:id, timestamp=1417591500179, value=2

2 column=info:name, timestamp=1417591512075, value=paul

2 row(s) in 0.0440 seconds

建立Hive外部表

hive 有分为原生表和外部表,原生表是以简单文件方式存储在hdfs里面,外部表依赖别的框架,比如Hbase,我们现在建立1个依赖于我们刚刚建立的employee hbase表的hive 外部表

hive> CREATE EXTERNAL TABLE h_employee(key int, id int, name string)

> STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

> WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key, info:id,info:name")

> TBLPROPERTIES ("hbase.table.name" = "employee");

OK

Time taken: 0.324 seconds

hive> select * from h_employee;

OK

11peter

22paul

Time taken: 1.129 seconds, Fetched: 2 row(s)

建立Hive原生表

这个hive原生表只是用于导出的时候临时使用的,所以取名叫 h_employee_export,字段之间的分隔符用逗号

CREATE TABLE h_employee_export(key INT, id INT, name STRING)

ROW FORMAT DELIMITED FIELDS TERMINATED BY '

最后

以上就是虚幻飞鸟为你收集整理的sqoop hbase导出mysql_Alex 的 Hadoop 菜鸟教程: 第9课 Sqoop1 从Hbase或者Hive导出mysql的全部内容,希望文章能够帮你解决sqoop hbase导出mysql_Alex 的 Hadoop 菜鸟教程: 第9课 Sqoop1 从Hbase或者Hive导出mysql所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(56)

评论列表共有 0 条评论

立即
投稿
返回
顶部