python scrapy框架基如何实现多线程_python scrapy框架是异步还是多线程?

小伙伴们很喜欢给小编出各种难题，比如今天关于框架，有小伙伴在浏览时，看到别人咨询异步还有多线程，因为自己也不是很理解，于是把问题转发给小编看，小编仔细看了下，虽然跟我们现在课程学习并没有什么相互关联的内容，但是既然这么感兴趣，以及为了解决小伙伴疑惑，决定为大家讲解下。

什么是异步：

工作涉及一次执行多个IO操作。

什么是多线程：

多线程：允许单个任务分成不同的部分运行

相互之间是有一定的相似之处的，那我们接下来解说下 scrapy框架，然后大家自己来抉择下哈~

Scrapy框架是通过命令行来创建项目的，代码的编写还是需要IDE。项目创建之后，项目文件结构如下所示：scrapy.cfg

project/

__init__.py

items.py

pipelines.py

settings.py

middlewares.py

spiders/

__init__.py

spider1.py

spider2.py

...复制代码

Scrapy数据流是由执行的核心引擎控制，流程是这样的：

1、爬虫引擎获得初始请求开始抓取。

2、爬虫引擎开始请求调度程序SCHEDULER，并准备对下一次的请求进行抓取。

3、爬虫调度器返回下一个请求给爬虫引擎。

4、引擎请求发送到下载器DOWNLOADER，通过下载中间件下载网络数据。

5、一旦下载器完成页面下载，将下载结果返回给爬虫引擎。

因此大家可以抉择出来了嘛？关于这个框架到底是异步还是多线程呢？其实我们也不必针对于到底分清哪个是哪个，我们只需要知道，我们使用的框架还有这些功能可以怎么使用即可哦~

最后

以上就是愉快舞蹈为你收集整理的python scrapy框架基如何实现多线程_python scrapy框架是异步还是多线程?的全部内容，希望文章能够帮你解决python scrapy框架基如何实现多线程_python scrapy框架是异步还是多线程?所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。