概述
关于分词有两个令人头痛的问题：一个是常用词，一个是标点符号。
如果使用jieba分词的，那么这两种‘符号’都会混杂在我们的结果中。
常用词可以使用停用词字典。而标点符号可以使用正则剔除，具体如下：
...
text = re.sub('W*', '', file.readlines())
word_list = jieba.cut(text)
...
注：如果文件很大时，建议按行读取，逐行分词。
最后
以上就是冷傲星星为你收集整理的如何高效剔除jieba分词中的标点符号和其他特殊字符的全部内容，希望文章能够帮你解决如何高效剔除jieba分词中的标点符号和其他特殊字符所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复