例如,假设我们有两个文档,每个文档的 content 域包含如下内容:
| 文档ID | 文档内容 |
|---|---|
| 1 | Tom has a cat |
| 2 | This cat is very cute |
倒排索引
Elasticsearch 使用一种称为 倒排索引 的结构,它适用于快速的全文搜索。一个倒排索引由文档中所有不重复词的列表构成,对于其中每个词,有一个包含它的文档列表。
为了创建倒排索引,我们首先将每个文档的 content 域拆分成单独的 词,创建一个包含所有不重复词条的排序列表,然后列出每个词条出现在哪个文档。结果如下所示:
| Term | 1 | 2 |
|---|---|---|
| tom | √ | |
| has | √ | |
| a | √ | |
| cat | √ | √ |
| this | √ | |
| is | √ | |
| very | √ | |
| cute | √ |
形成如下
| Term | Doc |
|---|---|
| tom | [1] |
| has | [1] |
| a | [1] |
| cat | [1,2] |
| this | [2] |
| is | [2] |
| very | [2] |
| cute | [2] |
Doc values
利用操作系统的内存,而不是 JVM 的 Heap
在搜索的时候,我们能通过搜索关键词快速得到结果集。
当排序的时候,我们需要倒排索引里面某个字段值的集合。换句话说,我们需要 转置 倒排索引。
转置 结构在其他系统中经常被称作 列存储 。实质上,它将所有单字段的值存储在单数据列中,这使得对其进行操作是十分高效的,例如排序。
在 Elasticsearch 中,Doc Values 就是一种列式存储结构
| 文档ID | 文档词条 |
|---|---|
| 1 | a, cat, has,tom |
| 2 | cat,cute,is,this,very |
Fielddata
利用 JVM 的 Heap (踩过坑)
控制参数:
#为 fielddata 设置一个上限
indices.fielddata.cache.size:
20%
#fielddata 断路器默认设置堆的 60% 作为 fielddata 大小的上限。
indices.breaker.fielddata.limit
#request 断路器估算需要完成其他请求部分的结构大小,例如创建一个聚合桶,默认限制是堆内存的 40%。
indices.breaker.request.limit
#total 揉合 request 和 fielddata 断路器保证两者组合起来不会使用超过堆内存的 70%
indices.breaker.total.limit
查看集群fielddata
GET _cat/fielddata
清理fielddata
POST _cache/clear
最后
以上就是自然烤鸡最近收集整理的关于Elasticsearch 关键概念介绍的全部内容,更多相关Elasticsearch内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复