python爬虫实时保存数据，csv格式

89 阅读 0 评论 59 点赞

我是靠谱客的博主典雅铃铛，最近开发中收集的这篇文章主要介绍python爬虫实时保存数据，csv格式，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

话不多说，直接上代码。

import csv

file_path 为保存的路径，需要携带.csv后缀。
urt_8_sig 是一个编码，使用该编码后，不用在另存为txt转换utf-8格式，直接打开，不会乱码。
replace(’x00’, ‘’) 是防止需要保存的字符出现不可识别乱码。
head 是一个列表 [‘A’,‘B’,‘C’,‘D’]
value 是一个列表 [1,2,3,4]

保存的时候，表头只会保存一次，程序会自我辨别，所以不用担心。

with open(file_path, 'a', encoding='utf_8_sig', newline='') as csvfile:
writer = csv.writer(csvfile)
with open(file_path, 'r', encoding='utf_8_sig', newline='') as f:
reader = csv.reader(_.replace('x00', '') for _ in f)
if not [row for row in reader]:
writer.writerow(head)
writer.writerow(value)
else:
writer.writerow(value)