scrapy数据存入mysql_Scrapy爬虫实例教程（二）---数据存入MySQL

63 阅读 0 评论 42 点赞

我是靠谱客的博主鳗鱼手套，最近开发中收集的这篇文章主要介绍scrapy数据存入mysql_Scrapy爬虫实例教程（二）---数据存入MySQL，觉得挺不错的，现在分享给大家，希望可以做个参考。

本文将详细描述使用scrapy爬去左岸读书所有文章并存入本地MySql数据库中，文中所有操作都是建立在scrapy已经配置完毕，并且系统中已经安装了Mysql数据库(有权限操作数据库)。

为了避免读者混淆，这里也使用tutorial作为scrapy project名称(工程的名字可以有读者自己定制)。

1. 建立tutorial工程

1 scrapy startproject tutorial

上述命令运行完毕后会得到tutorial(或者自定义名称)的目录，使用tree命令可以查看tutorial的目录结构，如下图所示

2. 解析左岸文章结构

左岸读书为读者提供了一些优美文章，喜欢的读者可以自行订阅(在这里提博主打广告啦[不用谢^_^])

站中所有文章都以列表的形式列出，每篇文章链接都给出了文章摘要和相应的信息(如作者，发布时间，分类信息，阅读量等信息)在列表底端给出了下一个列表的链接，具体如下图所示

点击相应的文章题目可以链接到具体的文章内容页面，读者可以自己实验试下，这里不再赘述。

3. 建立mysql数据库

建立m

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。