ElasticSearch29：初识搜索引擎_分词器的内部组成到底是什么以及内置分词器的介绍

1.分词器的内部组成

什么是分词器：切分词语，normalization（提升recall召回率）

给你一段句子，然后将这段句子拆分成一个一个的单词，同时对每个的单词进行normalization（时态转换，单复数转换等），分词器

recall召回率：搜索的时候，增加能够搜索到的结果的数量

分为三个部分

character filter，过滤，在一段文本分词之前，先进行预处理，如过滤html标签<span>123</span>转换未123，&--->and，

tokenizer：分词，如hello me分成hello和me单词

token filter：lowercase，stop word，synonymom，如dogs->dog,  Tom->tom,  a/the/an->干掉, mother->mom, small->little

一个分词器很重要，将一段文本进行处理，最后处理好的结果才会拿去做倒排索引。

2.内置分词器的介绍

Set the shape to semi-transparent by calling set_trans(5)

standard analyzer(标准分词器):set ,the ,shape,to,semi,transparent,by,calling,set_trans,5   ，可以看到，大小转小写，-去除，( )去除

simple analyzer(简单分词器):set, the ,shape,to,semi,transparent,by,calling,set,trans   ，可以看到大写转小写，-去除，（5）去除，_去除

whitespace analyzer（空格分词器）：Set,the,shape,semi-transparent,by,calling,set_trans(5)，可以看到是以空格进行分词

language analyzer（语言分词器，比如说英语分词器）：set,shape,semi,transpar,call,set_tran,5，可以看到大写转小写，the没有任何含义，被干掉了，以及一些拆分的,transparent转换成了transpar,calling转化时态call，等等

默认的分词器是standard analyzer（标准分词器）

最后

以上就是义气镜子为你收集整理的ElasticSearch29：初识搜索引擎_分词器的内部组成到底是什么以及内置分词器的介绍的全部内容，希望文章能够帮你解决ElasticSearch29：初识搜索引擎_分词器的内部组成到底是什么以及内置分词器的介绍所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。