我是靠谱客的博主 迷你寒风,最近开发中收集的这篇文章主要介绍20行Python scrapy 代码,去采集【蓝桥】训练营,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

scrapy 中的 settings.py 文件在项目中是非常重要的,因其包含非常多的配置。
这篇博客基于官方手册为你说明 settings.py 文件相关配置,并补充一些扩展说明。

settings 的 4 个级别

  1. 优先级最高 - 命令行,例如 scrapy crawl my_spider -s LOG_LEVEL=WARNINI
  2. 优先级第二 - 爬虫文件自己的设置,例如在 xxx.py 文件中设置 custom_settings
  3. 优先级第三 - 项目模块,这里指的是 settings.py 文件中的配置;
  4. 优先级第四 - default_settings 属性配置;
  5. 优先级第五 - default_settings.py 文件中的配置。

settings 配置的读取,一般使用 spider 中的 from_crawler 方法,在中间件,管道,扩展中都可以进行调用。

settings 配置读取操作非常简单,上一篇博客已经有所涉及,命令格式如下所示:

scrapy settings --get 配置变量名称

settings 常用配置

最后

以上就是迷你寒风为你收集整理的20行Python scrapy 代码,去采集【蓝桥】训练营的全部内容,希望文章能够帮你解决20行Python scrapy 代码,去采集【蓝桥】训练营所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(33)

评论列表共有 0 条评论

立即
投稿
返回
顶部