Python之文本去重（基础版）

一. 环境

系统版本：windows10家庭版
Python版本： python3.7.1
IDE：sublime_text3

二. 用法

1. 目的：

在日常运维中，需要整理要更新数据库的sql语句，往往会因为疏忽而有大量重复，这样会容易误操作，所以这个脚本就是为了sql去重。
2.

import re
readdir="C:\Users\user\Desktop\sql.txt"
#readdir为已写好的sql文件位置，后缀必须为txt
writedir1="C:\Users\user\Desktop\newsql.txt"
#write1dir1为去重后的sql的文件位置
writedir2="C:\Users\user\Desktop\oldsql.txt"
#write1dir2为重复的sql的文件位置
lines=set()
f1=open(writedir1,'w')
f2=open(writedir2,'w')
f3=open(readdir,'r')
for line in f3:
a=re.search('USE `my`;',line,re.IGNORECASE)
b=re.search('USE `my_log`;',line,re.IGNORECASE)
c=re.search('USE `my_dzbl`;',line,re.IGNORECASE)
d=re.search('USE `my_forum`;',line,re.IGNORECASE)
e=re.search('USE `my_hds`;',line,re.IGNORECASE)
f=re.search('USE `my_mall`;',line,re.IGNORECASE)
g=re.search('USE `my_news`;',line,re.IGNORECASE)
if a or b or c or d or e or f or g:
f1.write(line)
if line not in lines:
f1.writelines(line)
lines.add(line)
f3.close()
f3=open(readdir,'r')
d={}
for line2 in f3:
d[line2] = d.get(line2,0) + 1
for k, v in d.items():
if v == 2:
f2.writelines(k)
f1.close()
f2.close()
f3.close()

此脚本还有其他版本：
Python之文本去重（最终版）：https://blog.csdn.net/weixin_42840933/article/details/86700429
Python之文本去重（进阶版）：https://blog.csdn.net/weixin_42840933/article/details/86605707

最后

以上就是清爽萝莉为你收集整理的Python之文本去重（基础版）的全部内容，希望文章能够帮你解决Python之文本去重（基础版）所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。