hive写入Elasticsearch参数设置

1. 在hive中增加number of Hadoop input splits

Reduce the input split size from the default value. The mappers will get increased.

SET mapreduce.input.fileinputformat.split.maxsize;

参考：http://stackoverflow.com/questions/30222032/increase-number-of-hive-mappers-in-hadoop-2

参考：https://hadoopjournal.wordpress.com/2015/06/13/set-mappers-in-pig-hive-and-mapreduce/

2. Elasticsearch-Hadoop参数

es.batch.size.bytes (default 1mb)

es.batch.size.entries (default 1000)

es.batch.write.refresh (default true)

参考：https://www.elastic.co/guide/en/elasticsearch/hadoop/current/performance.html#_decrease_bulk_size

参考：https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html

最后

以上就是踏实哈密瓜为你收集整理的hive写入Elasticsearch参数设置的全部内容，希望文章能够帮你解决hive写入Elasticsearch参数设置所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。