python 用爬虫爬取的大量数据怎么保存到本地

69 阅读 0 评论 46 点赞

我是靠谱客的博主潇洒海燕，最近开发中收集的这篇文章主要介绍python 用爬虫爬取的大量数据怎么保存到本地，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

前言
用爬虫爬取的大量数据怎么保存到本地，本文以保存到Excel为例。

1.先导入爬虫所需的库
在这里插入图片描述说明一下，引入xlsxwriter这个库，主要是为了将数据写入Excel；我这里用到的是xpath，当然了你也可以选择bs4或者正则。

2.选取你要爬取的url地址，将地址赋值给一个变量url，别忘了添加一个请求头信息’User-Agent’。

3.对想要爬取的页面进行解析
在这里插入图片描述 4.接着利用xpath方法，提起页面源代码里面想要的信息
需要注意的是，这里在python3中用print方法输出的内容是一个隐藏的对象，后面再讲解用方法把对象转成类似字符串的形式。

5.接下来就用到xlsxwriter 这个模块的功能:
在这里插入图片描述
xlsxwriter.Workbook(‘jianshu.xlsx’)
就是创建一个excel表名的意思；
work_book.add_worksheet()
是我们熟悉的建立一个sheet，括号中不写名字，默认为’sheet’;
work_sheet.wri