python实现txt文本数据分类——中英文分类

最近在做自然语言处理的数据预处理部分——实体词，提取、抓取的数据集中包含中英文，那么我们只需要英文，不需要中文，于是就写了一个简单的脚本实现txt文本数据分类。
原数据如下（为了写这篇博客特意只提取了数据的一部分）：

代码如下：

file_open = open(r'C:UsersAdministratorDesktopwords.txt', 'r', encoding='gbk')
lines = file_open.readlines()
A = set()
B = set()
for line in lines:
    B.add(line)
    for char in line:
        if u'u4e00' <= char <= u'u9fff':
            A.add(line)
        else:
            break

with open('C:/Users/Administrator/Desktop/2.txt', 'w+') as f:
    for stu in A:
        print(stu)
        f.write("".join(stu))
C = B - A
with open('C:/Users/Administrator/Desktop/3.txt', 'w+') as t:
    for stb in C:
        print(stb)
        t.write("".join(stb))

分类结果如下：
1、中文文本

2、英文文本

最后

以上就是雪白牛排为你收集整理的python实现txt文本数据分类——中英文分类的全部内容，希望文章能够帮你解决python实现txt文本数据分类——中英文分类所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。