概述
Presto安装
文章目录
-
Presto安装 - 1 环境及安装包准备
- 2 安装
- 2.1 安装
- 2.2 配置
- 2.2.1 Presto属性配置
- 2.2.2 Connector配置
- 3 Presto客户端命令行使用
- 3.1 启动
- 3.2 客户端连接
1 环境及安装包准备
1). 安装presto前准备java环境最低JDK1.8.0_151
2). Presto安装包presto-server-0.259.tar.gz下载
3). Presto客户端jar包presto-cli-0.259-executable.jar下载
2 安装
2.1 安装
1). 将presto-server-0.259.tar.gz上传至服务器
2). 解压presto-server-0.259.tar.gz
tar -zxvf presto-server-0.259.tar.gz
3). 移动并修改presto-cli-0.259-executable.jar
将presto-cli-0.259-executable.jar移动到presto-server-0.259/bin目录下，并改名为presto，命令如下所示
mv ./presto-cli-0.259-executable.jar presto-server-0.259/bin/presto
chmod +x /opt/apps/presto-server-0.259/bin/presto
5). 创建Presto数据目录
配置presto数据目录，创建在安装目录外
mkdir /opt/data/presto/data
6). 创建etc目录
在/opt/apps/presto-server-0.259目录下创建etc文件夹
mkdir /opt/apps/presto-server-0.259/etc
7). 创建etc目录下配置文件
在刚创建好的etc目录下创建以下几个文件config.properties，jvm.properties，node.properties，log.properties
touch config.properties
touch jvm.config
touch node.properties
touch log.properties
8). 创建catalog目录
在创建好的etc目录下创建catalog目录
mkdir catalog
9). 创建catalog目录下connector文件
创建hive连接配置文件
touch hive.properties
创建mysql连接配置文件
touch mysql.properties
2.2 配置
2.2.1 Presto属性配置
1). 配置config.proterties
| coordinator=true | 当前节点如果作为work节点值为false，作为coordinator节点为true |
|---|---|
| node-scheduler.include-coordinator=false | 当前节点只作为调度节点时值为false，如果作为调度节点和计算节点时为true |
| http-server.http.port=8660 | 端口可自定义，最好选择一个不容易冲突的端口号 |
| query.max-memory=1GB | 资源配置 |
| query.max-memory-per-node=512MB | 资源配置 |
| query.max-total-memory-per-node=512MB | 资源配置 |
| discovery-server.enabled=true | Presto 通过Discovery 服务来找到集群中所有的节点,每一个Presto实例都会在启动的时候将自己注册到discovery服务； 注意：worker 节点不需要配 discovery-server.enabled |
| discovery.uri=http://lx01:8660 | Discovery server的URI，lx01是主机名，端口号和’http-server.http.port’保持一致。由于启用了Presto coordinator内嵌的Discovery 服务，因此这个uri就是Presto coordinator的uri |
具体配置文件中内容如下图所示：
2). 配置jvm.config
presto的调度节点和结算节点的配置是相同的
-server
-Xmx2G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
具体配置文件中内容如下图所示：
3). 配置node.properties
| node.environment=production | 配置节点环境 |
|---|---|
| node.id=ffffffff-ffff-ffff-ffff-ffffffffffff01 | 每个节点需要不同 |
| node.data-dir=/opt/data/presto/data | 这里配置的路径就是之前创建的presto数据目录 |
具体配置文件中内容如下图：
4). 配置log.properties
| com.facebook.presto=INFO | 这里配置的是日志信息级别，最低为DEBUG，最高为ERRO |
|---|---|
2.2.2 Connector配置
1). 配置hive.properties文件
vi hive.properties
| connector.name=hive-hadoop2 | 注意 connector.name 只能是 hive-hadoop2，否则presto会自动退出 |
|---|---|
| hive.metastore.uri=thrift://lx01:9083 | |
| hive.config.resources=/opt/apps/hadoop-2.8.5/etc/hadoop/core-site.xml,/opt/apps/hadoop-2.8.5/etc/hadoop/hdfs-site.xml | 一定要配置core-site.xml和hdfs-site.xml，否则会报nameservices1错误。 |
具体配置文件中内容如下图所示：
配置完成退出保存即可
2). 配置mysql.properties文件
vi mysql.properties
connector.name=mysql
connection-url=jdbc:mysql://lx01:3306
connection-user=root
connection-password=*******(填写库的实际密码)
配置文件中具体内容如下图所示：
到这里Presto的安装配置就完成了。
3 Presto客户端命令行使用
3.1 启动
启动presto通过bin录下的launcher启动
./launcher start
通过jps命令可以看到PrestoServer服务
当服务启动后，可以通过web界面进行访问，端口号就是config.properties配置文件中配置号的端口号，web界面如下图所示
3.2 客户端连接
Presto CLI提供了一个基于终端的交互式shell，用于运行查询。CLI是一个 自动执行的 JAR文件，这意味着它的行为类似于普通的UNIX可执行文件，就是上面步骤中出现的presto-cli-0.259-executable.jar，我们已经将其移动到bin目录下了，并且改名为presto，启动presto后，通过绑定调度器端口来启动客户端。
./presto --server lx01:8660 --catalog hive --schema defalut
当连接hive后，不管查看数据库还是查看表都提示没有连接到hive的元数据时，执行如下命令
hive --service metastore &
用此命令开启hive的元数据服务，这样就可以了查看到hive中的数据了 ，在Presto中查看数据使用的schema不是database，语法如下
show schemas
当查询完数据的时候出现如下界面
最后
以上就是傲娇唇膏为你收集整理的Presto安装 Presto安装 的全部内容，希望文章能够帮你解决Presto安装 Presto安装 所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复