我是靠谱客的博主 深情乌冬面,最近开发中收集的这篇文章主要介绍ElasticSearch更新字段类型的具体解决办法(重要),觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

前几天遇到的问题,elasticsearch中已经导入了将近两亿条数据,但是客户方又需要把其中的一个字段由string类型改为date类型,本来以为这是一个很简单的问题,但是。。。麻烦大了

这个麻烦就是,当你要给已经索引好的文档改变其中一个字段类型的时候,需要对所有的数据重新索引!!!!!

下面是利用elasticsearch java api实现的一个数据重新索引工具:

package elasticsearch.importdata;

import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchType;
import org.elasticsearch.client.Client;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.ImmutableSettings;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;

public class ESBulkDataApi {

	public static void main(String[] args) {
		// establish the client
		Settings settings = ImmutableSettings.settingsBuilder()
				.put("cluster.name", "genbank").build();
		@SuppressWarnings("resource")
		Client client = new TransportClient(settings)
				.addTransportAddress(new InetSocketTransportAddress(
						"10.0.26.1", 9300));
		QueryBuilder queryBuilder = QueryBuilders.boolQuery().must(
				QueryBuilders.matchAllQuery());

		SearchResponse searchResponse = client.prepareSearch("liu")
				.setTypes("seqs").setSearchType(SearchType.SCAN)
				.setScroll(new TimeValue(60000)).setQuery(queryBuilder)
				.setSize(100).execute().actionGet();

		//scroll to get the data
		while (true) {

			searchResponse = client
					.prepareSearchScroll(searchResponse.getScrollId())
					.setScroll(new TimeValue(600000)).execute().actionGet();
			

			for (SearchHit hit : searchResponse.getHits().getHits()) {
				// copy the data to the new index
				
				client.prepareIndex("my_index_v1", "seqs", hit.getId())
						.setSource(hit.getSourceAsString()).execute().actionGet();
			}

			// when there is no data,break the loop
			if (searchResponse.getHits().getHits().length == 0) {
				break;
			}

		}
	}

}

值得注意的是,重新索引的时候肯定会新建一个索引名称,为了不停止应用,需要用到elasticsearch中的别名(这个问题应该在系统设计的时候就应该想到了),先把别名指向原来的旧索引,当新索引建立完毕以后,改变别名的指向。。。

吐槽【elasticsearch官网太坑爹了,零零散散没有具体的解决步骤】

最后

以上就是深情乌冬面为你收集整理的ElasticSearch更新字段类型的具体解决办法(重要)的全部内容,希望文章能够帮你解决ElasticSearch更新字段类型的具体解决办法(重要)所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(44)

评论列表共有 0 条评论

立即
投稿
返回
顶部