中文文本挖掘的分词原理 By 刘建平Pinard + 我的cheatsheet1. 分词的基本原理2. N元模型3. 维特比算法与分词4. 常用分词工具5. 结语
文本挖掘的分词原理 By 刘建平Pinard 写的真是太好了!!!故转载https://www.cnblogs.com/pinard/p/6677078.html下面是我的Cheatsheet:引入:中文由于没有空格,分词需要专门去解决。本文就对文本挖掘时的中文分词原理做一个总结1. 分词的基本原理现代分词都是基于统计的分词,而统计的样本内容来自于一些标准的语料库关键词: argmax 马尔科夫假设(求联合分布)二元模型细节:1.argmax(f(x))是使得 f(x)取得最大值所对应的