我是靠谱客的博主 善良纸鹤,这篇文章主要介绍HIVE分析统计结果直接导入mysql数据库,现在分享给大家,希望可以做个参考。

大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中,再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。
 
今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。
 
步骤为
 
hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;
 
Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar to class path
 Added resource: /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar
 
hive>add jar /usr/share/java/mysql-connector-java-5.1.17.jar;
 
Added /usr/share/java/mysql-connector-java-5.1.17.jar to class path
 Added resource: /usr/share/java/mysql-connector-java-5.1.17.jar
 


hive>CREATE TEMPORARY FUNCTION dboutput AS 'org.apache.Hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput';
 
hive>select dboutput('jdbc:mysql://localhost/result','root','123456','INSERT INTO dc(code,size) VALUES (?,?)',code,size) from accesslog limit 10;
 
注:result为mysql数据库名,dc为数据库result中的表名 dc(code,size)括号中的字段为mysql表dc字段,values(?,?)对应hive统计结果的值 后面的code,size为hive表中的字段,accesslog表示hive中的表名称。
 
通过以上步骤即可将hive统计结果直接导入到mysql数据库中。

最后

以上就是善良纸鹤最近收集整理的关于HIVE分析统计结果直接导入mysql数据库的全部内容,更多相关HIVE分析统计结果直接导入mysql数据库内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(81)

评论列表共有 0 条评论

立即
投稿
返回
顶部