中文分词与停用词的作用
转自:http://blog.sina.com.cn/s/blog_56d8ea9001018i6y.html首先什么是中文分词stop word?英文是以词为单位的,词和词之间是靠空格隔开,而中文是以字为单位,句子中所有的字连起来才能描述一个意思。例如,英文句子I am a student,用中文则为:“我是一个学生”。计算机可以很简单通过空格知道student是一个单词,但是不能很容易明白“学”