初识搜索引擎_分词器的内部组成到底是什么？以及内置分词器的介绍
1、什么是分词器分词器：给你一段句子，然后将这段句子拆分成一个一个的单个的单词，同时对每个单词进行normalization（时态转换，单复数转换）分词器作用：切分词语，normalization(提升recall召回率)character filter:在一段文本进行分词之前，先进行预处理，比如说最常见的就是，过滤html标签（hello --> hello）,& --&g...
