关于分词有两个令人头痛的问题：一个是常用词，一个是标点符号。
如果使用jieba分词的，那么这两种‘符号’都会混杂在我们的结果中。
常用词可以使用停用词字典。而标点符号可以使用正则剔除，具体如下：
...
text = re.sub('W*', '', file.readlines())
word_list = jieba.cut(text)
...
注：如果文件很大时，建议按行读取，逐行分词。
最后
以上就是冷傲星星最近收集整理的关于如何高效剔除jieba分词中的标点符号和其他特殊字符的全部内容，更多相关如何高效剔除jieba分词中内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复