我是靠谱客的博主 玩命蛋挞,最近开发中收集的这篇文章主要介绍Presto(4)presto客户端查询保存成文件,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

因为没有把前面的整理出来,所以就先把后边presto要写的知识点写一下。

  1. 对于想实现类似于hive -e 或者是hive -f 的功能,之后重定向查询的文件中这种功能,presto当然也提供了。
    可以想象presto为快速版的hive,对于想要快速的出数据非常有效(当然对于大数据表的join支持不是很好,但也反应了内存的问题,如果机器数量足够多,各种join都不是问题)
    2.实现:需要安装presto的客户端的jar包presto官网客户端链接
    下载presto-cli-0.215-executable.jar这个包,重命名成presto,放在presto的bin目录下,并且添加执行权限
    chmod +x presto
    3.执行链接客户端的命令
    ./presto --server prestoMaster:7878 --catalog hive --schema sss --output-format CSV --file sql.sql > log.txt
    参数的含义:
    –server :本机的ip或者是主机名hostname,多台机器的时候为presto配置文件中 master的主机地址或主机名,7878为配置文件config.properties中http-server.http.port=7878的值。
    –catalog : 为链接的数据库,我连接的是hive,所以就配置了hive。
    –schema : 为查询用到的hive库中的数据库,类似于hive中的 use sss。
    –output-format : 输出的格式,用的CSV格式。
    –file : 执行这个wen件中的sql。我的sql.sql中的内容为 select id,user_id from ods_sellers limit 100;
    一定记住在sql后一定要有 ,否则会出现Non-terminated statement: SELECT 错误。
    log.txt为保存的数据,之后下载下来就好了

用 --help可以看到更多的选项
e.g:./presto --server prestoMaster:7878 --catalog hive --schema sss --help,就会看到更多需要的选项

最后

以上就是玩命蛋挞为你收集整理的Presto(4)presto客户端查询保存成文件的全部内容,希望文章能够帮你解决Presto(4)presto客户端查询保存成文件所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(73)

评论列表共有 0 条评论

立即
投稿
返回
顶部