python------统计词频(中文)

在这里统计作家玛格丽特·米切尔创作的<<飘>>第一部主要人物的出现次数,并按次数从高到低进行排序。

• jieba

由于文本是从网上找的中文文本，因此在这里使用到了中文分词词库jieba，jieba支持三种分词模式，精确模式，全模式，以及搜索引擎模式，精确模式，顾名思义，它较另外两种精确度更高，因此使用最广泛。
下面是一个分词例子，可以看出精确模式的优势。

• lambda函数用法
  在这里使用到了lambda函数，其具体用法可以参考博客https://blog.csdn.net/zjuxsl/article/details/79437563
• 处理流程
  本实例分为以下3个步骤：
  1）对文本进行分词并提取词语
  2）对每个单词进行计数，并删除无意义的词语。
  3）将词语及数量按从小到大顺序排序

代码：

import jieba
#打开文件。
#open()的第一个参数是读取文件所在路径，要根据自己情况而定，
#read()函数用于读取文件，并将读到的内容转化为字符串
txt=open("E:/飘","rb").read();
#构建排除词库，删除一些无意义的词
excludes = {"他们","没有","一个","自己","什么","这样","知道","可是","我们","因为"}
words=jieba.lcut(txt);
#使用字典保存词语即对应次数
counts={}
#对文本进行处理
for word in words:
    if len(word) == 1:
        continue
    elif word == "巴特勒":
        word == "瑞德"
    else:
        rword = wor
   #若字典counts中存在word，则返回word对应的值，在此基础上加1；若不  在，则返回0，并加1
    counts[rword] = counts.get(rword,0)+1
#删除无意义的词数
for word in excludes:
    del counts[word]
#因为字典是无序的，所以需将其转化为有顺序的列表
#item内容为[...1), ('大手', 1), ('环节', 1)]
items = list(counts.items())
#按词数降序排序
items.sort(key=lambda x:x[1],reverse = True)
for i in range(5):
    word ,count = items[i]
    #第一个(词语)左对齐，宽度为5；第二个(词数)右对齐，宽度为5
    print("{0:<5}{1:>5}次".format(word,count))

结果：

说明：

1）jieba输出的列表中的第一个数是

所以和下面的四行格式不同
2）在这里jieba的精确切分得到的也不是非常精确的，存在一定的误差，如下图：

最后

以上就是热心老鼠为你收集整理的python------统计词频(中文)的全部内容，希望文章能够帮你解决python------统计词频(中文)所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。