从容老虎

文章
2
资源
0
加入时间
3年0月28天

如何提升爬虫的速度一、并发和并行同步和异步

在介绍如何提升爬虫的速度之前,首先需要熟悉并发和并行、异步和同步的概念。一、并发和并行并发(concurrency)和并行(parallelism)是两个相似的概念。通俗来说,并发是指在一段时间内发生若干事件的情况,并发强调的是***一段时间内***;并行是指在同一时刻发生若干事件的情况,并行强调的是在***同一时刻***。我们买电脑的是时候,配置单里面有一项会说明你的CPU是单核还是多核的,现在一般的电脑可能都有8核,如果不清楚自己电脑是几核的,可以参考以下python代码查询:from mu