1、Sqoop抽取mysql数据量过大
问题原因:在执行SQL的时候,产生临时数据占满了/tmp磁盘空间
解决方法
1、,使用SQL改掉默认临时数据地址(tmpdir)
mysql> show variables like 'tmpdir';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| tmpdir | /tmp |
+---------------+-------+
1 row in set (0.00 sec)
mysql> set global tmpdir = '/Data/app/mysql5.6.25/mysqltmp';
2、如果出现以上异常,那只能通过配置文件来修改了
vim /etc/mysql/my.cnf
此处可以修改 tmpdir 的属性值,也可以修改 query_cache_limit 的数值,建议使用后者
好了,最后重启MySQL就搞定了
由于mysql为正式集群不便修改,方案暂改成:先单表mysql抽取到hive,增量时union all 再连接多表抽数。如果后期增量出现此问题再修改mysql相关配置`
最后
以上就是尊敬咖啡豆最近收集整理的关于Sqoop运维中遇到的问题的全部内容,更多相关Sqoop运维中遇到内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复