概述
scrapy 中的 settings.py
文件在项目中是非常重要的,因其包含非常多的配置。
这篇博客基于官方手册为你说明 settings.py
文件相关配置,并补充一些扩展说明。
settings 的 4 个级别
- 优先级最高 - 命令行,例如
scrapy crawl my_spider -s LOG_LEVEL=WARNINI
; - 优先级第二 - 爬虫文件自己的设置,例如在
xxx.py
文件中设置custom_settings
; - 优先级第三 - 项目模块,这里指的是
settings.py
文件中的配置; - 优先级第四 -
default_settings
属性配置; - 优先级第五 -
default_settings.py
文件中的配置。
settings
配置的读取,一般使用spider
中的from_crawler
方法,在中间件,管道,扩展中都可以进行调用。
settings
配置读取操作非常简单,上一篇博客已经有所涉及,命令格式如下所示:
scrapy settings --get 配置变量名称
settings 常用配置
最后
以上就是迷你寒风为你收集整理的20行Python scrapy 代码,去采集【蓝桥】训练营的全部内容,希望文章能够帮你解决20行Python scrapy 代码,去采集【蓝桥】训练营所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复