如何高效剔除jieba分词中的标点符号和其他特殊字符
关于分词有两个令人头痛的问题:一个是常用词,一个是标点符号。如果使用jieba分词的,那么这两种‘符号’都会混杂在我们的结果中。常用词可以使用停用词字典。而标点符号可以使用正则剔除,具体如下:...text = re.sub('\W*', '', file.readlines())word_list = jieba.cut(text)...注:如果文件很大时,建议按行读取,逐行分词。...