我是靠谱客的博主 背后衬衫,最近开发中收集的这篇文章主要介绍对于ElasticSearch与Hadoop是如何互相调用的?,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

 

1、在HDFS中,数据是以文件形式保存的,比如JSON:

https://blog.csdn.net/napoay/article/details/68945483

 

2、python读写HDFS,一般是使用hdfs这个库

https://www.cnblogs.com/Jims2016/p/8047914.html

 

3、再加上python读写elasticsearch,这样,整个架构图最右边的办法就都有了。

 

4、最后需要关注的问题就是,每个JSON文件是如何组织的?比如是一个月一个文件?还是一年一个文件?我的经验是一个月一个业务一个JSON,这样容量可以控制,而且数量也可以控制。

最后

以上就是背后衬衫为你收集整理的对于ElasticSearch与Hadoop是如何互相调用的?的全部内容,希望文章能够帮你解决对于ElasticSearch与Hadoop是如何互相调用的?所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(45)

评论列表共有 0 条评论

立即
投稿
返回
顶部