dss_linkis(dataspherestudio-1.1.1、linkis-1.1.1)拓展工具安装——数据交换工具Exchangis

83 阅读 0 评论 55 点赞

我是靠谱客的博主苹果小兔子，最近开发中收集的这篇文章主要介绍dss_linkis(dataspherestudio-1.1.1、linkis-1.1.1)拓展工具安装——数据交换工具Exchangis，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

二数据交换工具Exchangeis安装

2.1依赖的环境

2.2 准备工作

2.3 Exchangis安装

2.4 ExchangisAppConn安装

二数据交换工具Exchangeis安装

2.1依赖的环境

我的安装环境如下，与官网给出的相差一点点

DataSphere Studio1.1.1

Linkis1.1.1

JDK8

Hadoop2.8.5

hive2.4.3

sqoop1.4.7

MySQL8（官网需要MySQL≥5.5）

2.2 准备工作

保持Exchangis的部署用户与Linkis的一致，我的都为root

为Exchangis添加数据源认证的token：

INSERT INTO `linkis_mg_gateway_auth_token`(`token_name`,`legal_users`,`legal_hosts`,`business_owner`,`create_time`,`update_time`,`elapse_day`,`update_by`) VALUES ('EXCHANGIS-AUTH','*','*','BDP',curdate(),curdate(),-1,'LINKIS');

通过在linkis数据库中执行以下sql语句，插入hive数据源环境配置，注意，执行前需要修改语句中的${HIVE_METADATA_IP}和${HIVE_METADATA_PORT}，例如${HIVE_METADATA_IP}=127.0.0.1，${HIVE_METADATA_PORT}=3306：

INSERT INTO `linkis_ps_dm_datasource_env` (`env_name`, `env_desc`, `datasource_type_id`, `parameter`, `create_time`, `create_user`, `modify_time`, `modify_user`) VALUES ('开发环境SIT', '开发环境SIT', 4, '{"uris":"thrift://${HIVE_METADATA_IP}:${HIVE_METADATA_PORT}", "hadoopConf":{"hive.metastore.execute.setugi":"true"}}', now(), NULL, now(), NULL);

INSERT INTO `linkis_ps_dm_datasource_env` (`env_name`, `env_desc`, `datasource_type_id`, `parameter`, `create_time`, `create_user`, `modify_time`, `modify_user`) VALUES ('开发环境UAT', '开发环境UAT', 4, '{"uris":"thrift://${HIVE_METADATA_IP}:${HIVE_METADATA_PORT}", "hadoopConf":{"hive.metastore.execute.setugi":"true"}}', now(), NULL, now(), NULL);

2.3 Exchangis安装

Exchangis后端安装

下载安装包

（Release Exchangis 1.0.0 Release Notes · WeBankFinTech/Exchangis · GitHub）

将安装传至服务器后创建目录mkdir /usr/Exchangis-1.0.0

将安装包移至目录下，解压安装 tar -zxvf

解压后的目录结构如下：

|-- config：一键安装部署参数配置目录

|-- db：数据库表初始化 SQL 目录

|-- Exchangis-extds

|-- packages：Exchangis 安装包目录

|-- sbin：脚本存放目录

编辑config下的config.sh

编辑db.sh用于安装脚本创建信息表

sh Exchangis-1.0.0/sbin/install.sh进入交互式安装

首次安装时选初始化数据表

sh daemon.sh start server后会显示Eureka地址

进入Eureka可以看到exchangeis服务已开始运行

Exchangis前端安装

可以选择下载编译好的安装包（https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Exchangis/Exchangis1.0.0/dist.zip）

也可以自行编译在根目录下执行

cd web

npm i

npm run build

从/web获取编译好的dist.zip前端包

建议将前端包放在后端同一目录下解压，注意，在安装dss的机器上安装Exchangis前端

unzip

修改nginx/Exchangis.conf配置文件

vi /etc/nginx/conf.d/Exchangis.conf

niginx -s reload 刷新nginx

2.4 ExchangisAppConn安装

在部署ExchangisAppConn之前，请安装完成Exchangis1.0.0及其他相关组件的安装，并确保工程基本功能可用。

可以直接下载安装包（https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Exchangis/Exchangis1.0.0/Exchangis-appconn.zip）

或者自行编译打包

cd {EXCHANGIS_CODE_HOME}/Exchangis-plugins/Exchangis-appconn

mvn clean install

自行编译会在该路径下找到Exchangis-appconn.zip安装包：

{EXCHANGIS_CODE_HOME}/Exchangis-plugins/Exchangis-appconn/target/Exchangis-appconn.zip

将zip移至dss/dss-appconn下解压

进入目录dss/bin

sh appconn-install.sh进入交互式安装

需要输入字符串Exchangis以及Exchangis服务的ip和前端端口，注意不要输错

若安装时输入的不是Exchangis前端端口，虽然也会安装成功但dss创建项目时会报错：

com.webank.wedatasphere.dss.framework.project.exception.DSSProjectErrorException: errCode: 71000 ,desc: 向第三方应用发起检查工程名是否重复失败，原因：IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column 1 path $