概述
1、在HDFS中,数据是以文件形式保存的,比如JSON:
https://blog.csdn.net/napoay/article/details/68945483
2、python读写HDFS,一般是使用hdfs这个库
https://www.cnblogs.com/Jims2016/p/8047914.html
3、再加上python读写elasticsearch,这样,整个架构图最右边的办法就都有了。
4、最后需要关注的问题就是,每个JSON文件是如何组织的?比如是一个月一个文件?还是一年一个文件?我的经验是一个月一个业务一个JSON,这样容量可以控制,而且数量也可以控制。
最后
以上就是背后衬衫为你收集整理的对于ElasticSearch与Hadoop是如何互相调用的?的全部内容,希望文章能够帮你解决对于ElasticSearch与Hadoop是如何互相调用的?所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复