我是靠谱客的博主 痴情毛衣,最近开发中收集的这篇文章主要介绍笔记:DataSphere Studio安装部署流程,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

一、标准版部署

标准版:有一定的安装难度,体现在Hadoop、Hive和Spark版本不同时,可能需要重新编译,可能会出现包冲突问题。

适合于试用和生产使用,2~3小时即可部署起来。

支持的功能有:

数据开发IDE - Scriptis

工作流实时执行

信号功能和邮件功能

数据可视化 - Visualis

数据质量 - Qualitis(单机版)

工作流定时调度 - Azkaban(单机版)

Linkis管理台

二、基础环境准备

2.1、基础软件安装

下面的软件必装:

MySQL (5.5+),如何安装MySQL

JDK (1.8.0_141以上),如何安装JDK

Python(2.x和3.x都支持),如何安装Python

Nginx,如何安装Nginx

下面的服务必须可从本机访问:

Hadoop(2.7.2,Hadoop其他版本需自行编译Linkis)

Hive(1.2.1,Hive其他版本需自行编译Linkis)

Spark(支持2.0以上所有版本)

a、安装MySQL

1、安装前,检测系统是否自带安装 MySQL:

	rpm -qa | grep mysql

2、如果你系统有安装,那可以选择进行卸载:

	rpm -e mysql  // 普通删除模式
	rpm -e --nodeps mysql  // 强力删除模式,如果使用上面命令删除时,提示有依赖的其它文件,则用该命令可以对其进行强力删除

3、下载MySQL的rpm包

	wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

4、进行repo安装

	rpm -ivh mysql57-community-release-el7-9.noarch.rpm

5、进入/etc/yum.repos.d执行

	yum install mysql-server

6、启动MySQL

	systemctl start mysqld

7、查看MySQL初始密码

	grep 'password' /var/log/mysqld.log

8、修改密码

	mysql -u root -p

	set global validate_password_policy=0;
	set global validate_password_length=1;
	ALTER USER 'root'@'localhost' IDENTIFIED BY '你的密码';

如果无法登录:Linux初次登陆、重置MySQL密码步骤,以及错误Unknown column ‘password’ in 'field list’的解决方法

9、设置远程访问

	GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '你的密码' WITH GRANT OPTION;

释义:原文链接:https://blog.csdn.net/u010953706/article/details/95985946

b、安装JDK

1、查看系统是否安装java

  java -version

如果有

 rpm -qa | grep java

这几个可以删除

java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64
java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64
java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64

删除 

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64

如果没有权限,进入root再执行

su root

检查是否删除成功:提示未找到命令

java -version

2、下载JDK

最新版本下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html

历史版本下载地址:  http://www.oracle.com/technetwork/java/javase/archive-139210.html

3、到 /usr目录下新建一个java文件夹,将下载的JDK放入java文件夹,解压JDK

cd /usr  //转到usr目录

mkdir java  //新建java文件

cp /下载的JDK位置/JDK /usr/java/   //复制文件夹到目标位置

tar -zxvf jdk-8u181-linux-x64.tar.gz  //解压JDK压缩文件

最后

以上就是痴情毛衣为你收集整理的笔记:DataSphere Studio安装部署流程的全部内容,希望文章能够帮你解决笔记:DataSphere Studio安装部署流程所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(40)

评论列表共有 0 条评论

立即
投稿
返回
顶部