【Python爬虫系列教程 9-100】爬虫提高速度，发挥多核优势，使用多进程多进程

68 阅读 0 评论 45 点赞

我是靠谱客的博主隐形白开水，最近开发中收集的这篇文章主要介绍【Python爬虫系列教程 9-100】爬虫提高速度，发挥多核优势，使用多进程多进程，觉得挺不错的，现在分享给大家，希望可以做个参考。

多进程

上节提到，单一进程同一时刻内只有一个线程运行，无法发挥多核优势，如果想发挥多核优势，就得使用多进程。

在Python中也有内置的库来实现多进程，它就是multiprocessing。

multiprocessing提供了一系列的组件，如Process(进程)，Queue(队列)，Semaphore(信号量)，Pipe(管道)，Lock(锁)，Pool(进程池)等，接下来让我们来了解下它们的使用方法。

需要注意的是，进程是操作系统进行资源分配和调度的基本单位，因此多个进程是无法共享全局变量的，这需要有单独的机制来实现进程间的通信，如管道。

在multiprocessing中，使用Process类创建进程：

Process([group [, target [, name [, args [, kwargs]]]]])

其中

target: 传入方法的名字
args: 被调用对象的位置参数元组
kwargs: 调用对象的字典
name: 进程别名
group: 分组

先看个例子：

# -*

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。