概述
前几天遇到的问题,elasticsearch中已经导入了将近两亿条数据,但是客户方又需要把其中的一个字段由string类型改为date类型,本来以为这是一个很简单的问题,但是。。。麻烦大了
这个麻烦就是,当你要给已经索引好的文档改变其中一个字段类型的时候,需要对所有的数据重新索引!!!!!
下面是利用elasticsearch java api实现的一个数据重新索引工具:
package elasticsearch.importdata;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchType;
import org.elasticsearch.client.Client;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.ImmutableSettings;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
public class ESBulkDataApi {
public static void main(String[] args) {
// establish the client
Settings settings = ImmutableSettings.settingsBuilder()
.put("cluster.name", "genbank").build();
@SuppressWarnings("resource")
Client client = new TransportClient(settings)
.addTransportAddress(new InetSocketTransportAddress(
"10.0.26.1", 9300));
QueryBuilder queryBuilder = QueryBuilders.boolQuery().must(
QueryBuilders.matchAllQuery());
SearchResponse searchResponse = client.prepareSearch("liu")
.setTypes("seqs").setSearchType(SearchType.SCAN)
.setScroll(new TimeValue(60000)).setQuery(queryBuilder)
.setSize(100).execute().actionGet();
//scroll to get the data
while (true) {
searchResponse = client
.prepareSearchScroll(searchResponse.getScrollId())
.setScroll(new TimeValue(600000)).execute().actionGet();
for (SearchHit hit : searchResponse.getHits().getHits()) {
// copy the data to the new index
client.prepareIndex("my_index_v1", "seqs", hit.getId())
.setSource(hit.getSourceAsString()).execute().actionGet();
}
// when there is no data,break the loop
if (searchResponse.getHits().getHits().length == 0) {
break;
}
}
}
}
值得注意的是,重新索引的时候肯定会新建一个索引名称,为了不停止应用,需要用到elasticsearch中的别名(这个问题应该在系统设计的时候就应该想到了),先把别名指向原来的旧索引,当新索引建立完毕以后,改变别名的指向。。。
吐槽【elasticsearch官网太坑爹了,零零散散没有具体的解决步骤】
最后
以上就是深情乌冬面为你收集整理的ElasticSearch更新字段类型的具体解决办法(重要)的全部内容,希望文章能够帮你解决ElasticSearch更新字段类型的具体解决办法(重要)所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复