提升爬虫速度

33 阅读 0 评论 22 点赞

我是靠谱客的博主过时大象，最近开发中收集的这篇文章主要介绍提升爬虫速度，觉得挺不错的，现在分享给大家，希望可以做个参考。

首先介绍点概念

并发（concurrency）和并行（parallelism）是两个相似的概念。并发是指在一个时间段内发生若干事件的情况，并行是指在同一时刻发生若干事件的情况。

同步和异步也是两个值得比较的概念。同步就是并发或并行的各个任务不是独自运行的，任务之间有一定的交替顺序，可能在运行完一个任务得到结果后，另一个任务才会开始运行。就像接力赛跑一样，要拿到交接棒之后下一个选手才可以开始跑。

异步则是并发或并行的各个任务可以独立运行，一个任务的运行不受另一个任务影响，任务之间就像比赛的各个选手在不同的赛道比赛一样，跑步的速度不受其他赛道选手的影响。

以上就是过时大象为你收集整理的提升爬虫速度的全部内容，希望文章能够帮你解决提升爬虫速度所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。