JDBC访问注意点

如果JDBC代码访问出现问题，解决问题的办法（我们在不同环境出现了不少问题，发现匪夷所思的问题大部分都是版本导致的）

1、校验JDBC URL是否可以使用，在服务器上使用beeline连接这个URL看看是否可以连接的上

2、如果JDBC URL没有问题，那么检查代码中的JDBC的版本(如果是pom文件的话 是hive-jdbc)和服务器hive的版本是否对应的上。如果对应不上，修改下版本使其和服务器一致

1、hiveserver、hiveserver2 的区别

两者都允许远程客户端使用多种编程语言，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作
HiveServer或者HiveServer2都是基于Thrift的，HiveServer不能处理多于一个客户端的并发请求，HiveServer2支持多客户端的并发和认证，为开放API客户端如JDBC、ODBC提供更好的支持。

Hiveserver1 和hiveserver2的JDBC区别：
HiveServer version
Connection URL
Driver Class
HiveServer2
jdbc:hive2://:
org.apache.hive.jdbc.HiveDriver
HiveServer1
jdbc:hive://:
org.apache.hadoop.hive.jdbc.HiveDriver

目前都是使用用HiveServer2

默认端口是10000

2、代码相关

前提：

使用JDBC访问的前提是hiveserver2服务已经开启，在访问之前可以使用jdbc的URL在服务器的beeline上试着连接一下连接成功证明URL是没有问题的。

JDBC 访问hive分为两种方式普通访问以及kerberos认证的访问，一下做出说明

1、普通访问

直接上相关代码
相关代码

private static String driverName = "org.apache.hive.jdbc.HiveDriver";
private static String CONNECTION_URL = "jdbc:hive2://****:10000/hive";
public static void main(String[] args) throws SQLException, IOException, InterruptedException {
try {
Class.forName(driverName);
} catch (ClassNotFoundException e) {
e.printStackTrace();
System.exit(1);
}
Connection connection = DriverManager.getConnection(CONNECTION_URL, "hadoop", "");
ResultSet resultSet = connection.prepareStatement("select * from vbapffba9dca5df44dc088cc151ee4e69f91_7 limit 10").executeQuery();
while (resultSet.next()) {
String str = resultSet.getString(1);
System.out.println(str);
}
connection.close();
}

2、kerberos认证访问hive

直接上相关代码
相关代码

private static String driverName = "org.apache.hive.jdbc.HiveDriver";
private static String CONNECTION_URL ="jdbc:hive2://****:10001/devtest;principal=hs2/hadooptd3.novalocal@DEVTEST.BONC;auth=kerberos";
public static void main(String[] args) throws SQLException, IOException, InterruptedException {
try {
Class.forName(driverName);
} catch (ClassNotFoundException e) {
e.printStackTrace();
System.exit(1);
}
//这里注意
这里的路径不能是相对路径，一定要是绝对路径，不然报Can't get Kerberos realm的错误
//这一行也必须要加上
System.setProperty("java.security.krb5.conf", "E:\study_workSpace\ceshi\src\main\resources\ceshi\krb5.conf");
//这一行在调测krb5的时候可以加上
//
System.setProperty("sun.security.krb5.debug", "true");
Configuration configuration = new Configuration();
configuration.addResource(new Path("ceshi/core-site.xml"));
configuration.addResource(new Path("ceshi/hdfs-site.xml"));
configuration.set("hadoop.security.authentication", "Kerberos");
UserGroupInformation.setConfiguration(configuration);
//这里keytab也是需要用绝对路径的
UserGroupInformation
UGI = UserGroupInformation.loginUserFromKeytabAndReturnUGI("test001@DEVTEST.BONC", "E:\study_workSpace\ceshi\src\main\resources\ceshi\test001.ketab");
Connection connection = UGI.doAs(new PrivilegedAction<Connection>() {
@Override
public Connection run() {
try {
Connection connection = DriverManager.getConnection(CONNECTION_URL,"hadoop","");
return connection;
} catch (Exception e) {
}
return null;
}
});
ResultSet resultSet = connection.prepareStatement("select * from vbapfea10b1fcfc8067ebc69ec0d limit 10").executeQuery();
while (resultSet.next()){
String str = resultSet.getString(1);
System.out.println(str);
}
connection.close();
}

3、bug

1、

java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException):
User root is not allowed to impersonate anonymous 错误。

解决：
修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项

<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>

参考资料://https://blog.csdn.net/zengmingen/article/details/78607795

2、

org.apache.thrift.TApplicationException: Required field 'client_protocol' is unset! Struct:TOpenSessionReq(client_protocol:null, configuration:{use:database=default})
at org.apache.thrift.TApplicationException.read(TApplicationException.java:111)
at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:71)
at org.apache.hive.service.cli.thrift.TCLIService$Client.recv_OpenSession(TCLIService.java:156)
at org.apache.hive.service.cli.thrift.TCLIService$Client.OpenSession(TCLIService.java:143)
at org.apache.hive.jdbc.HiveConnection.openSession(HiveConnection.java:583)
at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:192)
at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:105)
at java.sql.DriverManager.getConnection(DriverManager.java:571)
at java.sql.DriverManager.getConnection(DriverManager.java:215)
at HiveJdbcJobTest.main(HiveJdbcJobTest.java:28)

原因：hive的版本不对，将hive的版本换成hive安装的版本即可

3、

java jdbc连接hive spark thriftserver异常HiveException: Unable to move source

java.sql.SQLException: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to move source hdfs://master:9000/user/hive/warehouse/datacenter.db/test/.hive-staging_hive_2019-01-21_09-30-22_299_3322687924153036286-9/-ext-10000/part-00000-82fd3ed3-2734-4044-a779-9405d97caeaa-c000 to destination hdfs://master:9000/user/hive/warehouse/datacenter.db/test/part-00000-82fd3ed3-2734-4044-a779-9405d97caeaa-c000;
at org.apache.hive.jdbc.HiveStatement.execute(HiveStatement.java:296)
at org.apache.hive.jdbc.HiveStatement.executeUpdate(HiveStatement.java:406)
at net.itxw.example.HiveTest.run(HiveTest.java:24)
at net.itxw.example.HiveTest.main(HiveTest.java:47)

解决办法：
spark/conf/hive-site.xml添加配置：

<property>
<name>fs.hdfs.impl.disable.cache</name>
<value>true</value>
</property>

原因:spark和hdfs使用的是同样一个底层实现的api。执行完一次数据插入，jdbc connection.close()关闭连接，也把hdfs的Filesystem连接关了。此时一道直接把thriftserver的hdfs Filesystem连接也关了，那也就是为什么我启动thriftserver第一次能插入成功，而第二次thriftserver的日志就报错Filesystem closed，Filesystem 已经关闭了。
######4、Unable to read HiveServer2 uri from ZooKeeper

Caused by: java.sql.SQLException: Could not open client transport for any of the Server URI's in ZooKeeper: Unable to read HiveServer2 uri from ZooKeeper

这种报错的前提是由于 使用的jdbcURL是有zookeeper访问的这种形式，样例如下

jdbc:hive2://hadoop001.potato.hamburg:2188,hadoop002.potato.hamburg:2188,hadoop003.potato.hamburg:2188/hsp;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;principal=hs2/_HOST@POTATO.HAMBURG

发生的原因是由于 maven打的jar中hive-jdbc的版本是1.2.1，但是程序中的hive版本是2.3的版本，版本不一致造成的这个原因。所以将maven的hive-jdbc版本修改为与hive的版本对应即可。

最后

以上就是魁梧毛豆为你收集整理的Jdbc访问hiveJDBC访问注意点1、hiveserver、hiveserver2 的区别2、代码相关3、bug的全部内容，希望文章能够帮你解决Jdbc访问hiveJDBC访问注意点1、hiveserver、hiveserver2 的区别2、代码相关3、bug所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。