Sqoop运维中遇到的问题

96 阅读 0 评论 64 点赞

我是靠谱客的博主尊敬咖啡豆，最近开发中收集的这篇文章主要介绍Sqoop运维中遇到的问题，觉得挺不错的，现在分享给大家，希望可以做个参考。

1、Sqoop抽取mysql数据量过大

问题原因：在执行SQL的时候，产生临时数据占满了/tmp磁盘空间

解决方法

1、，使用SQL改掉默认临时数据地址(tmpdir)

mysql> set global tmpdir = '/Data/app/mysql5.6.25/mysqltmp';

2、如果出现以上异常，那只能通过配置文件来修改了

vim /etc/mysql/my.cnf

此处可以修改 tmpdir 的属性值，也可以修改 query_cache_limit 的数值，建议使用后者

好了，最后重启MySQL就搞定了

由于mysql为正式集群不便修改，方案暂改成：先单表mysql抽取到hive，增量时union all 再连接多表抽数。如果后期增量出现此问题再修改mysql相关配置`

以上就是尊敬咖啡豆为你收集整理的Sqoop运维中遇到的问题的全部内容，希望文章能够帮你解决Sqoop运维中遇到的问题所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。