python爬虫实时保存数据，csv格式

125 阅读 0 评论 83 点赞

我是靠谱客的博主典雅铃铛，这篇文章主要介绍python爬虫实时保存数据，csv格式，现在分享给大家，希望可以做个参考。

话不多说，直接上代码。

import csv

file_path 为保存的路径，需要携带.csv后缀。
urt_8_sig 是一个编码，使用该编码后，不用在另存为txt转换utf-8格式，直接打开，不会乱码。
replace(’x00’, ‘’) 是防止需要保存的字符出现不可识别乱码。
head 是一个列表 [‘A’,‘B’,‘C’,‘D’]
value 是一个列表 [1,2,3,4]

保存的时候，表头只会保存一次，程序会自我辨别，所以不用担心。

复制代码

1
2
3
4
5
6
7
8
9
10
with open(file_path, 'a', encoding='utf_8_sig', newline='') as csvfile:
writer = csv.writer(csvfile)
with open(file_path, 'r', encoding='utf_8_sig', newline='') as f:
reader = csv.reader(_.replace('x00', '') for _ in f)
if not [row for row in reader]:
writer.writerow(head)
writer.writerow(value)
else:
writer.writerow(value)