本地搭建hadoop集群--sqoop的安装.1.4.7 使用db2

60 阅读 0 评论 40 点赞

我是靠谱客的博主舒心钥匙，最近开发中收集的这篇文章主要介绍本地搭建hadoop集群--sqoop的安装.1.4.7 使用db2，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

安装

1、解压tar包

2、进入conf目录

3、修改配置文件

cp -a sqoop-env-template.sh sqoop-env.sh

vm sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.6
export HADDOP_MAPRED_HOME=//opt/module/hadoop-2.7.6
export HIVE_HOME=/opt/module/apache-hive-2.3.3-bin
export ZOOCFGDIR=/opt/module/zookeeper-3.4.12/conf
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.12

4、导入jar包。

rdbms用的啥导入啥。我用的是db2

所以拷贝3个jar包

db2jcc.jar

db2jcc4.jar

db2jcc_license_cu.jar

5、分发文件

6、命令测试

sqoop list-databases --connect jdbc:db2://10.xxx.xxx.xx:port/xxx --username username--password password

打地鼠模式

1、Dorg.apache.sqoop.splitter.allow_text_splitter=true

ERROR tool.ImportTool: Import failed: java.io.IOException: Generating splits for a textual index column allowed only in case of "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" property passed as a parameter
   at org.apache.sqoop.mapreduce.db.DataDrivenDBInputFormat.getSplits(DataDrivenDBInputFormat.java:204)
   at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:301)

Caused by: Generating splits for a textual index column allowed only in case of "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" property passed as a parameter
   at org.apache.sqoop.mapreduce.db.TextSplitter.split(TextSplitter.java:67)
   at org.apache.sqoop.mapreduce.db.DataDrivenDBInputFormat.getSplits(DataDrivenDBInputFormat.java:201)
   ... 23 more
解决方案：

在 sqoop 脚本中当使用--m 处理并发数的时候一定会使用 --split-by

字段如果是varchar类型则会报错，因为 sqoop 会 select max 和 min 这个分段字段查询有多少个。然后分配给每个 datanode

最有效的方案是更换分组字段，或者在脚本上加入这句话

import
-Dorg.apache.sqoop.splitter.allow_text_splitter=true
--connect
jdbc:db2://xx:xx/xx
--username
xxx
--password
xxx
--table
bigdatatest
--split-by
xh
--m
4
--hive-database
yzx
--hive-table
bigdatatest_hive
--hive-overwrite
--hive-import