结巴分词之用户自定义词典的使用添加用户定义词典
jieba 分词简介:jieba 对于一长段文字,其分词原理大体可分为三部:1.首先用正则表达式将中文段落粗略的分成一个个句子。2.将每个句子构造成有向无环图,之后寻找最佳切分方案。3.最后对于连续的单字,采用HMM模型将其再次划分。三种分词模式:精确模式:试图将句子最精确地切开,适合文本分析;全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词;添加用户定义词典很多时候我们需要