elasticsearch的多索引联合查询以及范围日期查询示例

53 阅读 0 评论 35 点赞

我是靠谱客的博主眯眯眼马里奥，最近开发中收集的这篇文章主要介绍elasticsearch的多索引联合查询以及范围日期查询示例，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

一、前言

首先，博主这边要用ES来代替传统的mysql操作，那么原来的多表联合查询操作自然也要转换为多索引联合查找。这里使用elasticsearch-php库来操作ES,原生的ES也是大同小异的。

日期查询优秀文章参考:

1、自定义日期格式以及ES内置的日期格式

官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-date-format.html
优秀博客：
https://blog.csdn.net/u011019726/article/details/69541946
https://blog.csdn.net/gui66497/article/details/80433693
2、日期问题，可能是需要先设置好mapping才能查

链接:https://blog.csdn.net/weixin_36270623/article/details/84794652 （这个在新建索引的时候最好就设置好）

二、正文示例

一直听说ES的日期查询有个坑，那就是时区问题，现在终于轮到我碰到了，有点期待呢。记录一下。这里我本地刚开始是搜索不到的，传过来的日期参数形如：2019-03-28 11:23:52。后来看到kibana中显示：02/Apr/2019:18:18:20 -0700，所以试着在原来2019-03-29T01:43:01.368Z的基础上加上7小时，发现可以搜索到了。这是因为在数据入库的时候，没有指定时区为asia/shanghai，而ES默认选择时区为UTC，因此存储的数据和本地的json数据存在时间差7小时。

1、多索引联合日期范围查询

代码：


$params = [
'index' => ['zeusa.evony.com.accesslog-2019.03.28','zeusa.evony.com.accesslog-2019.03.29'],
'type' => 'doc',
'body' => [
'from'=>10,
'size'=>20,
"_source"=>[
"includes"=>[ "pixel*"],
// "excludes"=> [ "*.description" ]
],
'query' => [
"range" =>[
"@timestamp" => [
"gt" => "2019-03-28T23:58:56.052Z",
"lt" =>"2019-03-29T23:58:56.052Z",
"time_zone" =>"+07:00",
]
]
]
]
];
$repos =
$this->client->search($params);
$arr = [];
foreach($repos['hits']['hits'] as $v)
{
$arr[] = $v['_source'];
}

解释：
（1）多索引查询： 多索引一起用，逗号隔开以数组的形式传过去，实测可以。根据业务把索引名拼成一个数组传进去即可
（2）关于size: 默认只查出来10条，可以自己控制条数，单默认设置不超过10000条。如果要获取查询的数量，设置为0即可。
如果要查询的数据很多，参考：https://blog.csdn.net/bushanyantanzhe/article/details/79109721 设置max_result_window参数即可
（3）关于查询字段： 字段名称要和kibana中看到的ES数据名称保持一致,比如这个字段前面的@一定要有，因为kibana中的字段是有@的
（4）时间日期格式： 格式要和元数据的格式保持一致，不能是简单的2019-03-28 11:23:52，要么查询不出来数据，要不就会报错：

failed to parse date field [2019-03-28 11:23:52] with format [strict_date_optional_time||epoch_millis]: [Text '2019-03-28 11:23:52' could not be parsed, unparsed text found at index 10

（5）时间日期部分： 查询的时候，可以不精确到最后的sss，一样可以正常查询出来.但必须要带上T和Z，不然会报错：

failed to parse date field [2019-03-29 08:43:11] withformat[strict_date_optional_time||epoch_millis

这里的TZ参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-date-format.html ，直接搜索 strict_date_time 即可找到该定义
（6）time_zone： 经过反复测试，这个字段没起到作用。可能是我的问题，欢迎指导，谢谢
（7）_source： 这部分是为了筛选数据，因为正常查询出来的数据总是含有很多无用的字段，我们做分析只需要部分字段即可。所以可以通过_source的"includes“属性
规定返回的字段，”excludes"属性规定哪部分不反悔。我这里要查询的字段都有个前缀pixel，例如pixel.user_id等，所以使用pixel.*过滤。
参考官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/1.7/docs-get.html#get-source-filtering

2、如果要精准查询，替换range为：


"bool"=>[
"filter" =>[
"term" => [ "@timestamp" =>"2019-03-29T08:43:11.274Z" ]
]
]

注意： 如果想要精准匹配，那就要用term,这样只会查出user_id=2478的记录。如果是用match查询，那么会查出所有带有user_id=2478的记录，也就是会有很多，比如 xxxxx&user_id=2478xxxxx 也会查出来。

3、格式化日期加上7小时


$start = "2019-03-28 16:48:11";
//转化搜索的时间为TZ格式,并且加上7小时 date('Y-m-d H:i:s',strtotime("$start+7hour")));
$st_arr = explode(' ',date('Y-m-d H:i:s',strtotime("$start+7hour")));
$start = $st_arr[0].'T'.$st_arr[1].'Z';

关于日期可以参考：https://blog.csdn.net/li_lening/article/details/80930323

以上就是关于elasticsearch的多索引查询以及范围日期查询的内容，多索引的关键是用数组的方式传过去，源码部分会遍历这个索引数组，分别查询组合。日期查询的关键是时区转换，其他的就是DSL的标准格式了。

end