概述
Presto安装部署文档
- 安装Presto服务节点概览
master(ambari01)：Coordinator&worker服务
node1(ambari02)：worker服务
node2(ambari03)：worker服务
所需软件：
jdk-8u212-linux-x64.rpm
presto-server-rpm-323-e.0.x86_64.rpm
presto-cli-323-e.0-executable.jar
- 安装JDK
安装高版本的Jdk8
rpm -ivh jdk-8u212-linux-x64.rpm
修改jdk的环境变量
Vi /ect/profile 添加以下内容
export JAVA_HOME=/usr/java/jdk1.8.0_212-amd64
使环境变量生效
source /etc/profile
- 安装配置Presto
安装presto
rpm -ivh presto-server-rpm-323-e.0.x86_64.rpm
配置文件路径
Cd /etc/presto
conf.properties文件
coordinator + worker配置(主节点配置)
| coordinator=true node-scheduler.include-coordinator=true http-server.http.port=9001 query.max-memory=18GB query.max-memory-per-node=6GB discovery-server.enabled=true discovery.uri=http://ambari01:9001 |
workers配置（从节点配日志）
| coordinator=false http-server.http.port=9001 query.max-memory=18GB http-server.log.path=/var/log/presto/http-request.log discovery.uri=http://ambari01:9001 |
node.properties文件（所有节点除node.id不同，其他保持一致）
| node.environment=myprestos node.id=cdabea32-a164-4a1c-b77c-f26970845c8c node.data-dir=/software/presto/data catalog.config-dir=/etc/presto/catalog plugin.dir=/usr/lib/presto/lib/plugin node.server-log-file=/software/presto/logs/server.log node.launcher-log-file=/software/presto/logs/launcher.log |
jvm.config文件（所有节点一致）
| -server -Xmx16G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError |
log.properties文件（所有节点一致）
| com.facebook.presto=INFO |
Catalog Properties目录（所有节点一致）
新建catalog目录存放 每个connector配置来完成catalogs的注册。
mkdir /etc/presto/catalog
创建hive.properties
| connector.name=hive-hadoop2 hive.metastore.uri=thrift://ambari02.slave.com:9083 |
创建mysql.properties
| connector.name=mysql connection-url=jdbc:mysql://192.168.30.167:3306 connection-user=root connection-password=123456 |
创建kafka.properties
| connector.name=kafka kafka.table-names=staCdr kafka.nodes=ambari01.master.com:6667,ambari02.slave.com:6667,ambari03.slave.com:6667 kafka.hide-internal-columns=true |
创建phoenix.properties
| connector.name=phoenix phoenix.connection-url=jdbc:phoenix:192.168.10.101,192.168.10.102,192.168.10.103:2181:/hbase-unsecure |
Phoenix的连接器需要使用自定义的修改的jar包来适应低版本的hbase
- 运行Presto
在安装presto服务的节点执行以下启动命令：
作为后台进程启动
| /usr/lib/presto/bin/launcher start |
在前台运行
| /usr/lib/presto/bin/launcher run |
停止服务进程
| /usr/lib/presto/bin/launcher stop |
查看进程： ps -aux | grep PrestoServer 或 jps
查看页面 http：//ambari01：9001
- 客户端连接Presto
连接presto的客户端jar包
presto-cli-323-e.0-executable.jar
重命名jar包名字
cp presto-cli-323-e.0-executable.jar presto
将presto添加执行权限
Chmod u+x presto
连接hive
./presto --server ambari01:9001 --catalog hive --schema default
连接mysql
./presto --server ambari01:9001 --catalog mysql --schema test
进入客户端如下图所示：
执行sql语句之后可以在presto监控页面上看到所提交的任务状态：
- 安装web工具
tar -xvf yanagishima-17.0.tar.gz
cd yanagishima-17.0/
最后
以上就是柔弱眼神为你收集整理的Presto安装部署文档Presto安装部署文档的全部内容，希望文章能够帮你解决Presto安装部署文档Presto安装部署文档所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复