概述
因为没有把前面的整理出来,所以就先把后边presto要写的知识点写一下。
- 对于想实现类似于hive -e 或者是hive -f 的功能,之后重定向查询的文件中这种功能,presto当然也提供了。
可以想象presto为快速版的hive,对于想要快速的出数据非常有效(当然对于大数据表的join支持不是很好,但也反应了内存的问题,如果机器数量足够多,各种join都不是问题)
2.实现:需要安装presto的客户端的jar包presto官网客户端链接
下载presto-cli-0.215-executable.jar这个包,重命名成presto,放在presto的bin目录下,并且添加执行权限
chmod +x presto
3.执行链接客户端的命令
./presto --server prestoMaster:7878 --catalog hive --schema sss --output-format CSV --file sql.sql > log.txt
参数的含义:
–server :本机的ip或者是主机名hostname,多台机器的时候为presto配置文件中 master的主机地址或主机名,7878为配置文件config.properties中http-server.http.port=7878的值。
–catalog : 为链接的数据库,我连接的是hive,所以就配置了hive。
–schema : 为查询用到的hive库中的数据库,类似于hive中的 use sss。
–output-format : 输出的格式,用的CSV格式。
–file : 执行这个wen件中的sql。我的sql.sql中的内容为 select id,user_id from ods_sellers limit 100;
一定记住在sql后一定要有 ;,否则会出现Non-terminated statement: SELECT 错误。
log.txt为保存的数据,之后下载下来就好了
用 --help可以看到更多的选项
e.g:./presto --server prestoMaster:7878 --catalog hive --schema sss --help,就会看到更多需要的选项
最后
以上就是玩命蛋挞为你收集整理的Presto(4)presto客户端查询保存成文件的全部内容,希望文章能够帮你解决Presto(4)presto客户端查询保存成文件所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复