靓丽夕阳

文章
8
资源
0
加入时间
3年2月3天

python3 scrapy 入门级爬虫 爬取数万条拉勾网职位信息

首先通过pip 安装scrapy ,安装方式一百度一大堆~ 这里就不再赘述 安装成功之后,开始今天的教程 执行:scrapy startproject First 生成项目文件 如图所示即为创建项目成功 创建成功后会生成如图所示的目录结构 我的理解是:用户自己写的爬虫py文件应放在spiders目录下,Item用来保存爬取到的数据,middlewares 是Spider中间