python读取txt统计词频

 import re # 正则表达式库
import collections # 词频统计库
import numpy as np # numpy数据处理库
import jieba # 结巴分词
import wordcloud # 词云展示库
from PIL import Image # 图像处理库
import matplotlib.pyplot as plt # 图像展示库
import pandas as pd
import jieba.analyse

# 读取文件
fn = open('词频统计文本.txt',encoding="utf-8")
string_data = fn.read() # 读出整个文件
fn.close() # 关闭文件

# 文本预处理
pattern = re.compile(u't|n|.|-|:|;|)|(|?|"') # 定义正则表达式匹配模式
string_data = re.sub(pattern, '', string_data) # 将符合模式的字符去除

# 文本分词
seg_list_exact = jieba.cut(string_data, cut_all = False) # 精确模式分词
object_list = []
ty = open('停用词1893.txt',encoding="gbk")#此处原使用utf-8出现错误
remove_data = ty.read()
remove_words = remove_data # 读取停用词文档，去除所有停用词和标点空格等

for word in seg_list_exact: # 循环读出每个分词
    if word not in remove_words: # 如果不在去除词库中
        object_list.append(word) # 分词追加到列表
# 词频统计
word_counts = collections.Counter(object_list) # 对分词做词频统计
word_counts_top10 = word_counts.most_common(20) # 获取前x最高频的词
print (word_counts_top10) # 输出检查
data = pd.DataFrame(word_counts_top10)
data.to_excel('词频统计表.xlsx')
print('词频统计表导出完成')

#读取生成的词频统计表，并且添加列名
sj = pd.read_excel('词频统计表.xlsx',header=None,names=['序号','高频词','频数'])
fd = open('词云预备.txt','a',encoding="utf-8")#a为可追加写入
n=1
for i in sj['高频词']:
    for j in range(0,num):
        num = sj['频数'][n]
        fd.write(str(i))
        
    n = n+1
    print("当前读取到第", num , "个词")
fd.close()
            
        
    

目前仍然有些问题未解决，如正常关闭文件和输出文本，但大体功能可以实现

最后

以上就是鲜艳大叔为你收集整理的python读取txt统计词频的全部内容，希望文章能够帮你解决python读取txt统计词频所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。